Quantas pernas têm dez elefantes, se dois deles não têm pernas?
Modelos de linguagem grandes frequentemente tropeçam em problemas aparentemente simples de matemática e lógica, como contar as pernas de elefantes quando alguns estão “sem pernas”, revelando erros que vão de deslizes aritméticos básicos a explicações surreais. Os comentaristas usam essas falhas para destacar como os LLMs geram texto estatisticamente plausível em vez de realizar raciocínio genuíno, e para debater se adicionar ferramentas como interpretadores Python realmente fecha essa lacuna. O tópico também aborda peculiaridades de tokenização, sobreajuste a enigmas comuns e o que esses comportamentos implicam sobre os limites dos sistemas atuais de IA em comparação com as aspirações para AGI.
Tema geral: falhas de LLMs em matemática básica e raciocínio
- A discussão gira em torno de um simples enigma (“dez elefantes, dois sem pernas”) e de como muitos LLMs dão respostas obviamente erradas.
- As respostas relatadas incluem: 32 (correta), 36, 38, 40, 64, 78 e até “dezoito”, muitas vezes com raciocínio confiante, mas incoerente.
- Alguns modelos afirmam que elefantes têm 8 pernas, aplicam mal a subtração ou contam duas vezes as “pernas” faltantes. Outros interpretam mal perguntas inversas (dado o total de pernas, inferir o número de elefantes).
Por que os LLMs têm dificuldade com matemática (como descrito no tópico)
- Vários comentários enfatizam que LLMs são preditores probabilísticos do próximo token, não motores simbólicos de matemática nem sistemas lógicos.
- Números são apenas tokens: 0, 10, 100 podem ser cada um um único token; 98 pode ser composto por vários. Os modelos não alternam inerentemente para um modo de “raciocínio numérico”.
- Aritmética/matemática é uma parte minúscula dos corpora de treinamento e se encaixa mal na tokenização, então o desempenho é frágil e irregular.
- Alguns veem esses erros como evidência de que LLMs carecem de compreensão ou raciocínio genuínos; outros argumentam que eles ainda são poderosos reconhecedores de padrões, só que não foram otimizados para matemática.
Uso de ferramentas vs. comportamento de LLM “puro”
- Várias pessoas observam que o GPT‑4 muitas vezes acerta as perguntas do elefante e da data escrevendo e executando código Python em um interpretador em sandbox.
- Há debate sobre se isso é uma “generalização mais uso de ferramentas” impressionante ou apenas acoplar uma calculadora a um mecanismo de autocompletar.
- É feita uma distinção clara entre o LLM bruto e o sistema ao redor (LLM + ferramentas).
Inconsistência entre modelos e prompts
- O mesmo prompt gera respostas diferentes no Bard, GPT‑3.5, GPT‑4, Claude, Mixtral e Bing; até o mesmo modelo pode mudar de comportamento ao longo do tempo.
- Alguns modelos menores ou mais novos respondem corretamente; outros apresentam lógica bizarra (por exemplo, arredondar pernas negativas para 1).
- Observa-se sobreajuste a enigmas comuns (por exemplo, sempre dizer “elas pesam o mesmo” para variações com penas/tijolos).
Reflexões mais amplas
- As falhas são usadas para argumentar tanto que LLMs são “apenas autocompletar” quanto que estão melhorando rapidamente (especialmente com modelos maiores e ferramentas).
- Vários comentários enquadram LLMs como “peneiradores” ou assistentes altamente capazes, em vez de raciocinadores, e veem esses quebra-cabeças como bons testes de estresse para seus limites.