A alucinação é inevitável: uma limitação inerente dos grandes modelos de linguagem

Artigo original ↗ Discussão no Hacker News ↗

Um artigo recente que argumenta que alucinações são uma consequência inevitável de como grandes modelos de linguagem calculam respostas desencadeou um escrutínio mais amplo sobre o que “alucinação” realmente significa e se isso é significativamente diferente de uma imprecisão comum. Os comentaristas contrastam o comportamento dos LLMs com o raciocínio humano, debatendo se esses modelos têm algum verdadeiro “modelo de mundo” ou autoconsciência de quando não sabem, e se camadas adicionais de supervisão ou estimadores de confiança poderiam conter saídas falsas, porém fluentes. Muitos concluem que a confiabilidade perfeita é irrealista; a verdadeira questão é como limitar, detectar ou até aproveitar produtivamente as alucinações, em vez de eliminá-las por completo.

O que “alucinação” significa e se o termo se encaixa

  • Muitos argumentam que a definição do artigo (“inconsistências com uma função de verdade computável”) é apenas “estar errado” ou inventar coisas, não uma verdadeira alucinação.
  • Vários comentaristas não gostam da palavra, dizendo que ela antropomorfiza os LLMs e faz o erro soar místico ou impressionante; “confabulação” ou “falando besteira” são sugeridos como termos melhores.
  • Outros observam que os humanos também constroem histórias internamente consistentes, mas falsas, então “alucinação” ou “confabulação” têm certa atratividade intuitiva.

Inevitabilidade teórica vs. importância prática

  • O argumento do artigo é visto como um resultado de diagonalização / complexidade: modelos limitados (por exemplo, LLMs em tempo polinomial) não podem computar todas as funções, especialmente algumas NP-difíceis, então haverá entradas em que eles falham.
  • Críticos dizem: isso é verdade para qualquer sistema finito (incluindo cérebros) e, por si só, não diz com que frequência ou quão gravemente as falhas ocorrem em domínios realistas.
  • Alguns apontam que o resultado explicitamente proíbe “não sei” e trata de funções de verdade construídas de forma adversarial, então talvez diga pouco sobre o problema cotidiano de “alucinação”.

LLMs, modelos de mundo e entendimento

  • Um grupo: LLMs são apenas preditores do próximo token, sem modelo de mundo, conceitos ou eu; a linguagem coerente é uma ilusão estatística.
  • Grupo oposto: a estrutura interna (por exemplo, representações de tabuleiro de xadrez/Othello) mostra modelos de mundo aprendidos nos pesos, ainda que estáticos e opacos.
  • Um longo subfio debate se um comportamento indistinguível do humano é suficiente para chamar isso de “entendimento” e se essa noção sequer tem uma definição precisa.

“Não sei”, confiança e autorreflexão

  • Muitos veem um melhor tratamento da incerteza como o verdadeiro problema: fazer os modelos dizerem “não sei” ou qualificarem as respostas em vez de chutarem.
  • Mecanismos sugeridos:
    • Loops externos de controle (RAG, busca, ferramentas, modelos secundários de “segurança” ou avaliadores, voto da maioria entre prompts).
    • Sinais internos (perplexidade, volatilidade entre prompts levemente perturbados, escores de confiança) para bloquear ou restringir respostas.
  • Céticos argumentam que transformers atuais carecem de verdadeira autorreflexão; qualquer escore de confiança é, ele próprio, apenas outra sequência de tokens.

Comparações com a cognição humana

  • Humanos também memorizam mal, confabulam, seguem narrativas de grupo e raciocinam mal; alguns veem as “alucinações” dos LLMs como análogas, outros enfatizam a melhor metacognição humana e a capacidade de reter respostas.
  • Vários observam que a generatividade parecida com alucinação também é de onde vêm a criatividade e a geração de ideias; o problema não é a alucinação em si, mas distinguir quando ela é aceitável.

Mitigações, design de sistemas e hype

  • Mitigações propostas: arquiteturas modulares (LLM + lógica simbólica / bases de conhecimento), módulos de supervisão semelhantes a “executivos” do cérebro, reconhecimento de mundo aberto e pipelines de avaliação mais fortes.
  • Alguns defendem que os LLMs continuarão sendo apenas um componente em sistemas maiores do tipo AGI, e não “modelos deus”.
  • O fio contém tanto otimismo sobre o avanço contínuo de escala e arquitetura quanto forte ceticismo de que os LLMs, sozinhos, possam chegar a uma AGI confiável ou a um comportamento livre de alucinações.