Nova teoria sugere que LLMs conseguem entender texto
Um novo framework teórico que afirma que grandes modelos de linguagem podem “entender” texto reacendeu debates de longa data sobre o que entendimento e inteligência realmente significam em IA. Comentadores avaliam evidências de que os modelos constroem modelos de mundo implícitos e conseguem combinar com flexibilidade “habilidades” abstratas de maneiras improváveis de ter sido memorizadas dos dados de treino, contra críticas de que ainda são apenas poderosos detectores de padrões remixando conteúdo escrito por humanos sem grounding ou autoconsciência. A discussão destaca tensões mais profundas em torno de emergência, excepcionalismo humano e se o comportamento funcional por si só basta para atribuir conceitos como raciocínio ou compreensão a sistemas de IA atuais e futuros.
Links e contexto
- Comentadores fornecem links ausentes para os artigos centrais e para alguns artigos críticos que argumentam que LLMs não entendem.
- O texto da Quanta é visto como um resumo acessível; a discussão se concentra no que a teoria realmente mostra.
O que significa “entendimento”?
- Muitos argumentam que não existe uma definição rigorosa e consensual; qualquer afirmação de que “LLMs entendem” depende de uma operacionalização escolhida.
- Alguns dizem que “desempenho em nível humano” é um proxy prático, mas outros contrapõem que os humanos variam amplamente e que nossa própria cognição é difícil de quantificar.
- Alguns sugerem que o entendimento é graduado, não binário, e ligado ao desempenho em tarefas, e não a uma essência interna.
Modelos de mundo, compressão e emergência
- Uma corrente argumenta que, sob princípios de teoria da informação e compressão, preditores de próximo token precisam codificar implicitamente um modelo de mundo.
- Outros aceitam que algum modelo de mundo existe, mas enfatizam sua qualidade desconhecida e seu enraizamento amplamente textual.
- A emergência é invocada: comportamento complexo pode surgir da simples predição da próxima palavra, assim como mentes surgem de neurônios.
Evidências do comportamento e o modelo de habilidades do artigo
- O framework de “grafo de habilidades” / “mistura de habilidades” é resumido: textos exigem combinações de habilidades abstratas; modelos maiores têm sucesso em mais desses nós.
- A capacidade do GPT-4 de misturar múltiplos estilos de raciocínio (por exemplo, metáfora, física, viés) em tópicos novos é citada como evidência de que ele é mais do que um “papagaio estocástico”.
- Alguns veem isso como uma forma rigorosa de mostrar capacidade composicional e generalizável; outros dizem que isso ainda não resolve a questão do entendimento.
Visões céticas: papagaiada, dados e grounding
- Uma linha forte de crítica: a inteligência está no corpus de treinamento curado; LLMs o comprimem e o reproduzem sem consciência, objetivos ou “por quê”.
- As preocupações incluem: falta de autoconhecimento explícito (“o que você sabe?”), ausência de um verdadeiro loop de feedback com estado, nenhuma opção de permanecer em silêncio, falta de senso de tempo e nenhum grounding físico.
- São feitas analogias a um livro de colorir, a um trabalhador de texto de biblioteca tailandesa, a uma bússola ou a um relógio: comportamento sofisticado sem entendimento.
Comparações com a cognição humana
- Alguns observam que os humanos também operam em parte como preditores estatísticos da próxima palavra, muitas vezes falando sem compreensão reflexiva completa.
- Outros enfatizam diferenças: experiência incorporada, entrada multimodal rica e possíveis arquiteturas futuras (multimodais, contínuas, incorporadas) que possam reduzir a distância.
Nível meta e implicações sociais
- Vários classificam os argumentos atuais como “baseados na fé” em ambos os lados; eles querem mais testes empíricos e teorias.
- Outros veem o debate como acadêmico: as pessoas vão se relacionar com companheiros de IA como se entendessem, independentemente da resolução filosófica.
- As opiniões divergem fortemente entre “histeria sobre IA” e “trajetória clara rumo a capacidades gerais super-humanas”.