As principais IAs ainda falham em testes de QI
Afirmações de que os principais modelos de IA ainda “falham” em testes padrão de QI provocam debate sobre se esses testes realmente medem inteligência de máquina. Comentadores argumentam que os grandes modelos de linguagem são poderosos preditores do próximo token com generalidade impressionante, mas rasa, limitados por restrições de visão e raciocínio, “raciocínio” dependente de memorização e dificuldade com problemas realmente novos. Muitos concluem que as pontuações de QI e rótulos como AGI são menos importantes do que a utilidade no mundo real e o ritmo rápido de crescimento das capacidades, que pode tornar os benchmarks atuais obsoletos.
Relevância dos Testes de QI para IA
- Muitos argumentam que os testes de QI são uma forma ruim de avaliar LLMs: foram projetados e validados para humanos, especialmente dentro de uma faixa estreita de capacidade, e não para sistemas de máquina com arquiteturas diferentes.
- Outros observam que o QI (e o fator g) ainda é o melhor proxy empiricamente validado para inteligência humana e resultados de vida, então é pelo menos um benchmark interessante.
- As divergências se concentram em saber se o QI mede principalmente reconhecimento de padrões versus habilidades mais amplas como criatividade, resolução de problemas e “inteligência fluida.”
- Alguns veem o fraco desempenho de QI dos LLMs como algo mais condenatório para os testes do que para os modelos; outros veem isso como evidência clara de que LLMs não são “inteligentes.”
Natureza da “Inteligência” dos LLMs
- Uma visão: LLMs são “apenas preditores do próximo token” / armazenamento comprimido com perda do texto da web, bons em imitar, mas não em pensar.
- Visão contrária: a predição perfeita do próximo token exigiria compreensão profunda dos processos subjacentes; os modelos atuais já mostram algum raciocínio emergente.
- Vários observam que os humanos também “alucinam” bobagens plausíveis quando estão além da própria profundidade, borrando a fronteira entre comportamento humano e de máquina.
- Não há uma definição consensual de inteligência, levando essencialmente a disputas semânticas sobre se LLMs se qualificam ou se a “AGI” já foi alcançada.
Problemas de Visão e de Formato de Teste
- Muitos argumentam que os exemplos específicos de QI testam principalmente visão/codificação, não raciocínio.
- Sugestões: apresentar problemas no estilo Raven como texto, JSON ou arte ASCII em vez de imagens; alguns experimentos mostram que os modelos então frequentemente os resolvem corretamente, embora estocasticamente.
- Falhar em questões baseadas em imagem é comparado a testar o QI de uma pessoa cega com quebra-cabeças puramente visuais.
Capacidades, Limites e Alucinações
- LLMs podem igualar ou superar humanos em algumas tarefas textuais semelhantes a testes de QI e em alguns benchmarks matemáticos, mas têm dificuldade com aritmética precisa, generalização além dos dados de treino e raciocínio abstrato robusto.
- Pesquisas citadas sugerem que muito do “raciocínio” é na verdade memorização de padrões, embora algum raciocínio genuíno possa existir.
AGI, Hype e Trajetória Futura
- As opiniões vão de “já temos AGI no nível de imitação do humano médio” a “LLMs são máquinas de padrões supervalorizadas, rasas.”
- Alguns dão ênfase à utilidade prática (“ele consegue fazer trabalho?”) em vez de rótulos filosóficos.
- Outros destacam o progresso rápido, a contagem de parâmetros ainda muito abaixo dos cérebros e esperam avanços significativos no curto prazo, especialmente em visão.