Los carteles de citas ayudan a los matemáticos —y a sus universidades— a subir en los rankings
La manipulación de las métricas de citas y de los rankings universitarios está provocando comparaciones con el spam de SEO, con informes de “carteles de citas”, citas coercitivas en la revisión por pares y listas de autores infladas usadas para aumentar el prestigio institucional en lugar de la calidad científica. Los comentaristas relacionan esto con la ley de Goodhart y con incentivos perversos más amplios en la academia, argumentando que cuando las carreras y la financiación dependen de medidas cuantitativas simples, esas medidas se abusan sistemáticamente. Algunos piden abandonar o rebajar radicalmente los rankings basados en citas, fortalecer la replicación y los controles de integridad, y financiar modelos alternativos de publicación que prioricen el trabajo reproducible y significativo sobre los índices de impacto.
Carteles de citas y manipulación de métricas
- Muchos ven los carteles de citas como un resultado predecible de la evaluación basada en métricas y de los rankings universitarios.
- Se hacen comparaciones con el spam de SEO y la manipulación de PageRank: granjas de enlaces ↔ anillos de citas.
- Algunos señalan que este comportamiento existe desde hace décadas; lo nuevo es la escala y su papel central en los rankings.
La ley de Goodhart y las métricas mal usadas
- Reiterada referencia a la ley de Goodhart: una vez que las citas se convierten en objetivo, dejan de ser una buena medida del impacto o la calidad.
- Las citas pueden ser altas para trabajos malos o refutados, o simplemente porque mucha gente trabaja en un tema de moda.
- Varios argumentan que los recuentos de citas sirven sobre todo a administradores y rankings, no a los investigadores.
Revisión por pares, citas coercitivas y autoría
- Múltiples anécdotas de revisores “sugiriendo” citas irrelevantes o interesadas, y de editores empujando a los autores a citar su revista.
- La autoría coercitiva o política (especialmente en medicina) y las listas de autores infladas se describen como algo común.
- Algunos defienden que las sugerencias de citas a menudo son indicaciones legítimas de trabajos previos relevantes; la experiencia varía mucho según el campo y la publicación.
Replicación y calidad de la investigación
- Afirmaciones firmes de que la mayoría de los artículos en muchos campos no pueden replicarse; otros llaman a esto exagerado y señalan diferencias entre disciplinas.
- A menudo se cita a las matemáticas como excepción (los resultados se verifican mediante pruebas), aunque otros señalan que siguen apareciendo errores no triviales.
- La física, la informática y la ingeniería se describen como más limitadas por la validación en el mundo real, pero aun así sujetas a análisis cuestionables y mal código.
Diferencias entre disciplinas y fragmentación
- Pequeñísimos “clubes” especializados controlan áreas de nicho; revisan el trabajo de los demás y pueden fijar normas locales, buenas o malas.
- Algunos campos (IA/ML) se ven desbordados por el volumen, lo que lleva a infra-citación o redescubrimiento; otros (psicología, algunas áreas biomédicas) se consideran especialmente frágiles.
- Debate sobre cuánto de las matemáticas puras alimenta realmente el trabajo aplicado, y con qué frecuencia la teoría está desconectada de la aplicación.
Rankings, prestigio y soluciones propuestas
- Los rankings basados en citas son ampliamente criticados por ser “obviamente manipulables”, aunque siguen siendo influyentes.
- Algunos sostienen que las instituciones de prestigio tienen más que perder y por eso hacen trampas de formas más sutiles; otros ven una manipulación flagrante en sistemas de nivel más bajo con métricas estatales rígidas.
- Las sugerencias incluyen: abandonar los rankings cuantitativos o tomarlos muy a la ligera, preprints abiertos, más trabajo de replicación e integridad, y posiblemente “institutos de integridad” independientes —aunque hay escepticismo sobre los incentivos y la eficacia.