Posição: Os LLMs Não Conseguem Dar Saltos
Um artigo de posição que sustenta que os grandes modelos de linguagem não conseguem fazer “saltos de intuição” ao estilo de Einstein desencadeou um debate sobre se os sistemas de IA atuais estão estruturalmente limitados à correspondência de padrões e à dedução. Os comentadores questionam a ideia de que insights abdutivos e transformadores exijam ancoragem sensorial ou intuição física, apontando para modelos multimodais, sistemas agentivos e resultados matemáticos recentes como evidência de que as capacidades podem continuar a escalar. Muitos veem o verdadeiro problema em aberto como a forma de definir e medir rigorosamente esses “saltos”, e se serão necessárias arquiteturas ou regimes de treino futuros — e não apenas LLMs maiores — para os alcançar.
Âmbito da afirmação “LLMs não conseguem dar saltos”
- A discussão se centra em saber se os LLMs atuais conseguem fazer saltos “abdutivos” (novas hipóteses fundamentais) semelhantes às percepções-chave da relatividade geral.
- Muitos argumentam que o artigo é sobretudo um texto de posição, não sustentado por benchmarks quantitativos nem por uma operacionalização clara de “dar saltos”.
- Outros apreciam a distinção entre indução, dedução e abdução, mas questionam se a abdução está definida de forma suficientemente precisa para justificar afirmações de “incapacidade estrutural”.
Fundamentação sensorial, modelos de mundo e intuição
- Uma linha de argumento: grandes saltos teóricos (por exemplo, a relatividade) dependeram de experiências mentais incorporadas e ancoradas nos sentidos; LLMs apenas com texto não têm isso.
- Contra-argumentos:
- Humanos fazem saltos abstratos em matemática e ciência da computação com pouca ligação sensorial direta.
- LLMs podem executar experiências mentais baseadas em texto e já lidam, em certa medida, com intuições de física.
- Modelos multimodais e sistemas agentivos com ferramentas ou simuladores talvez já se aproximem de modelos de mundo.
- Vários comentadores acham que modelos de mundo dedicados e circuitos de feedback físico são promissores, mas os resultados atuais são mistos ou “abismalmente” fracos para raciocínio geral.
Pormenores históricos e de física
- Vários comentadores argumentam que o artigo simplifica em excesso a história da relatividade, das transformações de Lorentz e das influências de Einstein.
- Há debate sobre quão “intuitivo” o princípio da equivalência realmente é; alguns acham-no óbvio, outros veem-no como profundamente contraintuitivo.
- Ponto mais amplo: muitas grandes descobertas foram incrementais, apoiadas num ecossistema de investigação ativo, e não saltos místicos singulares.
Testes empíricos e limitações de dados/tempo
- Experiências propostas:
- Treinar um LLM moderno apenas com texto anterior a 1980/1990 ou da era vitoriana e ver se consegue “reinventar” LLMs ou a física moderna.
- Usar LLMs futuros (com cortes temporais mais antigos) para reproduzir artigos recentes de “salto”.
- Desafios apontados: escassez de dados de treino antes da internet, fuga de conceitos modernos e viés retrospetivo sobre os documentos históricos que foram preservados.
Capacidades, limites e “mudança de balizas”
- Alguns defendem que todo “os LLMs não conseguem…” do passado acabou por se tornar “os LLMs conseguem, mal, e depois melhor com escala”, pelo que afirmações de impossibilidade absoluta são suspeitas.
- Outros insistem que há limites atuais claros: provas matemáticas longas, manutenção não supervisionada de codebases, dados de treino auto-gerados de forma fiável (colapso do modelo) e novidade genuína em humor ou ciência.
- Vários veem os LLMs como poderosas “calculadoras de linguagem” que ampliam a intuição e a criatividade humanas em vez de as substituir; humanos+LLMs podem, em conjunto, dar os saltos mesmo que os modelos sozinhos não o façam.