Marqué dos artículos de investigación por tener autores falsos y ambos fueron aceptados como orales
Los artículos de investigación y las revisiones generados por IA están inundando las principales conferencias, mostrando lo frágil y sobrecargado que se ha vuelto el sistema actual de revisión por pares y publicación. Quienes comentan describen un aumento de “slop” de baja calidad, con citas alucinadas, incentivado por la cultura de publicar o perecer, la revisión no remunerada y una aplicación laxa de las políticas de uso de IA, mientras los editores experimentan cada vez más con la revisión asistida por IA. El hilo plantea preocupaciones más amplias sobre los incentivos académicos, los sistemas de reputación y si las instituciones existentes pueden adaptarse sin volver al control de acceso por redes de élite o colapsar bajo el volumen de producción automatizada.
Automatización de la canalización de investigación
- Quienes comentan señalan que ahora la IA se usa habitualmente para escribir, revisar y resumir artículos, especialmente en ML/IA.
- Algunos ven esto como “automatizar a los humanos fuera” de la publicación académica; otros sostienen que, sobre todo, está automatizando la producción de “slop” de baja calidad.
- Hay preocupación de que las técnicas de los artículos ahora también sean implementadas por IA, reduciendo aún más la participación humana.
Calidad, “slop” y límites de la revisión con IA
- Muchos revisores informan de un aumento de envíos de bajo esfuerzo, escritos por IA, con referencias alucinadas y afirmaciones superficiales.
- Varios argumentan que la IA actual no puede juzgar de forma fiable la calidad de la investigación; incluso a muchos humanos les cuesta hacerlo.
- Algunos reconocen que la IA ha mejorado la gramática y la legibilidad para quienes no son nativos, pero dicen que el contenido sigue siendo a menudo vacío.
Reputación, puntuación social y rendición de cuentas
- Una solución propuesta es reforzar los sistemas reputacionales o la “puntuación social” para autores y revisores.
- Quienes la apoyan ven consecuencias transparentes y reputaciones como algo necesario para que la ciencia a gran escala funcione.
- Los críticos advierten que estos sistemas son fácilmente capturados por el poder, el sesgo y las normas cambiantes sobre el comportamiento “bueno” y “malo”, y pueden volverse distópicos.
Incentivos de la revisión por pares y problemas estructurales
- La revisión por pares se describe ampliamente como no remunerada, sobrecargada y a menudo delegada a personas junior.
- Algunos quieren pagar a los revisores; otros señalan que eso podría simplemente incentivar revisiones generadas por IA.
- Entre las sugerencias figuran depósitos al enviar artículos que se pierdan si se detecta slop de mala fe, o más “vergüenza” mediante el desanonimizado de envíos y revisiones.
- Varios sostienen que el sistema ya estaba “podrido” antes de la IA; la IA solo está acelerando su descomposición.
Acceso abierto, citas y herramientas de detección
- Algunos culpan a la publicación de acceso cerrado por dificultar la validación de citas; otros dicen que la existencia de las citas ya es fácil de comprobar mediante DOI e índices públicos.
- Se mencionan herramientas y APIs para grafos de citas y verificación automatizada de bibliografías; surgen preocupaciones de que los autores de slop las usarán para ocultar errores obvios.
- Hay debate sobre prohibiciones y sanciones por uso no declarado de IA y plagio; algunos piden vetos de varios años para enviar artículos, mientras otros señalan que la aplicación es inconsistente.
Escala, métricas y el futuro de la academia
- Los enormes volúmenes de envíos en las principales conferencias de IA se consideran insostenibles; a los revisores les llegan muchos artículos fuera de su especialidad.
- “Publicar o perecer” se compara con juzgar a los programadores por líneas de código; impulsa el volumen por encima del rigor.
- Algunos ven el modelo académico actual como fallido y potencialmente reemplazable; otros advierten contra derribarlo sin tener listo un sistema mejor.