Eu sinalizei dois artigos de pesquisa com autores falsos e ambos foram aceitos como apresentações orais
Artigos e revisões de pesquisa gerados por IA estão inundando grandes conferências, expondo como o sistema atual de revisão por pares e publicação se tornou frágil e sobrecarregado. Comentadores descrevem uma explosão de “slop” de baixa qualidade, com citações alucinadas, incentivada pela cultura de publish-or-perish, pela revisão não remunerada e pela aplicação frouxa de políticas sobre uso de IA, enquanto editores passam cada vez mais a experimentar a própria revisão assistida por IA. O debate levanta preocupações mais amplas sobre incentivos acadêmicos, sistemas de reputação e se as instituições existentes podem se adaptar sem voltar ao controle por redes de elite ou colapsar diante do volume de produção automatizada.
Automação do Pipeline de Pesquisa
- Comentadores observam que a IA agora é comumente usada para escrever, revisar e resumir artigos, especialmente em ML/IA.
- Alguns veem isso como “automatizar os humanos para fora” da publicação acadêmica; outros argumentam que isso é principalmente automatizar a produção de “slop” de baixa qualidade.
- Há preocupação de que as técnicas descritas nos artigos também estejam agora sendo implementadas por IA, reduzindo ainda mais o envolvimento humano.
Qualidade, “Slop” e Limites da Revisão por IA
- Muitos revisores relatam um aumento de submissões de baixo esforço, escritas por IA, com referências alucinadas e alegações superficiais.
- Vários argumentam que a IA atual não consegue julgar de forma confiável a جودة da pesquisa; até muitos humanos têm dificuldade com isso.
- Alguns reconhecem que a IA melhorou a gramática e a legibilidade para falantes não nativos, mas dizem que o conteúdo muitas vezes continua vazio.
Reputação, Pontuação Social e Responsabilização
- Uma solução proposta é sistemas de reputação mais fortes ou “pontuação social” para autores e revisores.
- Os apoiadores veem consequências transparentes e reputações como necessárias para uma ciência em grande escala que funcione.
- Críticos alertam que tais sistemas são facilmente capturados por poder, viés e normas mutáveis de comportamento “bom” e “ruim”, e podem se tornar distópicos.
Incentivos da Revisão por Pares e Problemas Estruturais
- A revisão por pares é amplamente descrita como não remunerada, sobrecarregada e frequentemente delegada a pessoas juniores.
- Alguns querem pagar revisores; outros observam que isso poderia apenas incentivar revisões geradas por IA.
- As sugestões incluem depósitos na submissão que são perdidos em caso de slop de má-fé, ou mais “vergonha” por meio de submissões e revisões sem anonimato.
- Vários argumentam que o sistema já estava “apodrecido” antes da IA; a IA está apenas acelerando seu colapso.
Acesso Aberto, Citações e Ferramentas de Detecção
- Alguns culpam a publicação de acesso fechado por tornar a validação de citações mais difícil; outros dizem que a existência de citações já é fácil de verificar via DOIs e índices públicos.
- Ferramentas e APIs para grafos de citações e verificação automatizada de bibliografias são mencionadas; surgem preocupações de que autores de slop as usarão para esconder erros óbvios.
- Há debate sobre proibições e penalidades para uso não divulgado de IA e plágio; alguns pedem proibições de envio por vários anos, outros observam que a aplicação é inconsistente.
Escala, Métricas e o Futuro da Academia
- Contagens massivas de submissões em grandes conferências de IA são vistas como insustentáveis; revisores recebem muitos artigos fora de sua área de especialidade.
- “Publicar ou perecer” é comparado a julgar programadores pelo número de linhas de código; isso impulsiona volume em vez de rigor.
- Alguns veem o modelo acadêmico atual como falho e potencialmente substituível; outros alertam contra derrubá-lo sem que um sistema melhor esteja pronto.