Cartéis de citações ajudam matemáticos — e as suas universidades — a subir nos rankings
A manipulação de métricas de citação e dos rankings universitários está sendo comparada ao spam de SEO, com relatos de “cartéis de citação”, citações coercivas na revisão por pares e listas de autores infladas usadas para aumentar o prestígio institucional em vez da qualidade científica. Os comentaristas ligam isso à lei de Goodhart e a incentivos perversos mais amplos na academia, argumentando que, quando carreiras e financiamento ficam atrelados a medidas quantitativas simples, essas medidas passam a ser sistematicamente abusadas. Alguns pedem o abandono ou a redução radical da importância dos rankings baseados em citações, o fortalecimento da replicação e das verificações de integridade, e o financiamento de modelos alternativos de publicação que priorizem trabalho reproduzível e significativo em vez de índices de impacto.
Cartéis de Citação & Manipulação de Métricas
- Muitos veem os cartéis de citação como um resultado previsível da avaliação orientada por métricas e dos rankings universitários.
- São traçados paralelos com spam de SEO e manipulação do PageRank: fazendas de links ↔ redes de citações.
- Alguns observam que esse comportamento existe há décadas; o novo é a escala e a centralidade nos rankings.
Lei de Goodhart & Métricas Mal Utilizadas
- Repetida referência à lei de Goodhart: quando citações se tornam um objetivo, deixam de ser uma boa medida de impacto ou qualidade.
- Citações podem ser altas para trabalhos ruins ou refutados, ou simplesmente porque muitas pessoas trabalham num tema em alta.
- Vários argumentam que as contagens de citações servem principalmente administradores e rankings, não pesquisadores.
Revisão por Pares, Citações Coercivas e Autoria
- Múltiplas anedotas de revisores “sugerindo” citações irrelevantes ou interesseiras, e editores incentivando autores a citar a sua revista.
- Autoria coerciva ou política (especialmente em medicina) e listas de autores inflacionadas são descritas como comuns.
- Alguns defendem que sugestões de citação muitas vezes são indícios legítimos de trabalhos anteriores relevantes; a experiência varia fortemente conforme o campo e o veículo.
Replicação e Qualidade da Pesquisa
- Afirmações fortes de que a maioria dos artigos em muitos campos não pode ser replicada; outros chamam isso de exagerado, apontando diferenças entre domínios.
- A matemática é frequentemente citada como exceção (os resultados são verificados por prova), embora outros observem que ainda surgem erros não triviais.
- Física, CS e engenharia são retratadas como mais constrangidas por validação no mundo real, mas ainda sujeitas a análises questionáveis e código ruim.
Diferenças Entre Disciplinas & Fragmentação
- Clubes especializados muito pequenos controlam áreas de nicho; eles revisam o trabalho uns dos outros e podem definir normas locais, para o bem ou para o mal.
- Alguns campos (AI/ML) estão sobrecarregados pelo volume, levando a subcitação ou redescoberta; outros (psicologia, algumas áreas biomédicas) são vistos como particularmente frágeis.
- Debate sobre o quanto a matemática pura realmente alimenta o trabalho aplicado, e com que frequência a teoria fica desconectada da aplicação.
Rankings, Prestígio e Correções Propostas
- Rankings baseados em citações são amplamente criticados como “obviamente manipuláveis”, mas ainda influentes.
- Alguns argumentam que instituições de prestígio têm mais a perder e, portanto, trapaceiam de formas mais sutis; outros veem manipulação descarada em sistemas de menor escalão com métricas estatais rígidas.
- Sugestões incluem: abandonar rankings quantitativos ou levá-los muito pouco a sério, preprints abertos, mais replicação e trabalho de integridade, e possivelmente “institutos de integridade” independentes — embora haja ceticismo quanto aos incentivos e à eficácia.