Como medimos a escrita de IA em arXiv, e onde a medição falha

Metodologia do detector e confiabilidade

• Muitos comentaristas questionam o rigor, a interpretabilidade e a reprodutibilidade do detector, especialmente a forma como múltiplas subpontuações são combinadas.
• Usuários relatam pontuações altas de “máquina” em trabalhos claramente humanos, anteriores a LLMs (teses, artigos antigos, respostas do Stack Overflow), sugerindo falsos positivos não triviais.
• Outros veem o detector funcionando bem em seus próprios textos e consideram uma taxa calibrada de falso positivo pré-ChatGPT (~0,4%) como evidência de que ele “funciona em média”.
• As preocupações incluem:
  • Vazamento dos dados de treinamento e deriva de domínio (novo jargão, estilos em mudança).
  • Sensibilidade a LaTeX/formatação.
  • Limites teóricos da detecção apenas por texto e a convergência entre estilos humanos e de IA.
• Ferramentas comerciais como Pangram e GPTZero são citadas como ao mesmo tempo “bastante precisas” e “trivialmente enganáveis”, ressaltando o desacordo sobre o que “precisão” significa na prática.

Estimativas de prevalência e onde elas podem falhar

• A alta relatada para ~39% dos artigos sinalizados como IA no total e ~65% em CS é vista por alguns como impressionante e aproximadamente alinhada com verificações independentes em subconjuntos de arXiv.
• Outros argumentam que a linha de base é frágil: idiomas e modas mudam, e os detectores podem estar captando “estilo moderno” ou deriva de tópico (por exemplo, jargão de LLMs) em vez de verdadeira autoria por IA.
• Sugestões: incluir preprints antigos (pré-2020), dividir por área e aplicar detectores a venues presumivelmente mais curadas (por exemplo, periódicos de ponta) como controle.

“E daí?” Impacto na ciência e na confiança

• Um grupo vê pouco problema intrínseco: se a ciência é sólida e os artigos ficam mais claros, a assistência de IA é aceitável; o verdadeiro problema é a qualidade da pesquisa em si, não quem escreveu as frases.
• A visão oposta enfatiza:
  • A tendência dos LLMs a alucinar fatos, citações e até narrativas inteiras de trabalho relacionado.
  • A erosão da confiança e dos sinais de qualidade (prosa polida já não implica esforço ou rigor).
  • Maior carga para revisores e aumento da relação sinal-ruído, com analogias a spam e “enshittification”.
• São dados exemplos de artigos com citações inteiramente alucinadas e de revisões de conferência já sobrecarregadas e de baixo esforço.

Uso de LLMs para polimento e autores não nativos

• Falantes não nativos descrevem usar LLMs para transformar inglês “básico” em prosa científica convencional; muitos veem isso como necessário e justo, desde que o conteúdo científico seja verificado.
• Críticos argumentam que:
  • “Polimento” frequentemente introduz novas alegações ou muda sutilmente o significado.
  • Perseguir um “estilo científico” genérico é, por si só, prejudicial e desnecessário.
• Há desacordo sobre se isso é um uso menor da ferramenta ou uma coautoria substantiva que mina a responsabilidade pessoal.

Incentivos, spam e corrida armamentista da detecção

• Comentadores ligam o aumento do uso de IA a incentivos estruturais: publicar ou perecer, aversão à escrita e geração barata de texto.
• Alguns esperam mais “artigos spam” e defendem tratar texto no estilo de IA como um filtro grosseiro, mesmo que ocasionalmente rejeite trabalhos bons.
• Outros destacam o perigo de uso indevido de detectores (especialmente na educação) e observam que tanto texto gerado por IA quanto texto projetado para escapar de IA podem ser produzidos com facilidade, tornando improvável qualquer equilíbrio estável na detecção.