GPT-6 Astra da OpenAI no ARC-AGI-3
O modelo GPT‑6 “Astra” da OpenAI supostamente alcança desempenho quase perfeito no benchmark de raciocínio ARC‑AGI‑3, provocando debates sobre se tais resultados sinalizam a chegada da inteligência geral artificial ou apenas a saturação de mais um teste estreito. Comentadores examinam o quão significativo o ARC‑AGI‑3 realmente é como proxy de “inteligência”, comparam custos e capacidades da IA aos humanos e observam como um raciocínio melhor pode, paradoxalmente, reduzir o custo total de computação ao cortar tentativas repetidas. A discussão se amplia para saber se AGI é sequer um conceito coerente, como ela deveria ser definida (por exemplo, trabalho economicamente valioso vs. resolução geral de problemas) e quais benchmarks mais difíceis — como problemas matemáticos abertos de Erdős ou robótica incorporada — ainda podem estar além dos modelos atuais.
Custo, Design do Harness e Desempenho
- A curva de custo/score “invertida” é explicada pela configuração baseada em tentativas do ARC-AGI-3: mais raciocínio por movimento resolve os quebra-cabeças em menos tentativas, reduzindo o total de tokens e, assim, o custo.
- O harness oficial do ARC descarta o raciocínio/contexto anteriores, forçando o modelo a “reaprender” cada jogo. O harness personalizado da OpenAI adiciona compactação padrão de contexto e reutilização, melhorando enormemente as pontuações.
- Alguns observam que “com o harness certo” Astra chega a ~99,9%, o que leva a afirmações de que isso efetivamente atinge AGI nesse benchmark, enquanto outros apontam que o design do harness está fazendo grande parte do trabalho.
Custo e Eficiência: Humanos vs IA
- A comparação do artigo entre pagamento humano por sessão e custo energético do cérebro leva a debate: alguns celebram a eficiência biológica; outros argumentam que comparações baseadas apenas em energia do cérebro ignoram treinamento, educação e jornadas de trabalho limitadas.
- Vários enfatizam que o tempo humano é intrinsecamente valioso e não é diretamente comparável a tokens baratos de IA.
Isso é AGI? Definições e Metas em Movimento
- Muitos argumentam que AGI é mal definida ou, em grande parte, um termo de marketing; as pessoas projetam nela o próprio significado.
- As definições citadas incluem: “sistemas que igualam ou superam a inteligência humana em tarefas cognitivas” e “sistemas altamente autônomos que superam humanos na maioria dos trabalhos economicamente valiosos”, ambas criticadas por serem vagas.
- Alguns dizem que, se um harness consegue levar modelos a 99,9% no ARC-AGI-3, então estamos efetivamente em AGI; outros insistem que AGI seria quando não conseguirmos inventar nenhuma tarefa que seja fácil para humanos, mas difícil para máquinas.
O que os Benchmarks Realmente Medem?
- Debate sobre se resolver um jogo de quebra-cabeça parecido com snake ou tarefas lógicas no estilo ARC diz algo relevante sobre “inteligência” ou utilidade no mundo real.
- Críticos observam que humanos foram otimizados para velocidade (foram informados de que há tempo cronometrado), enquanto modelos são otimizados para correção e custo, tornando a comparação assimétrica.
- Vários esperam que benchmarks apenas de software se tornem saturados; entre as propostas estão tarefas de robótica ou metas de longo prazo (por exemplo, ganhar dinheiro, melhorar métricas) como testes mais significativos.
Inteligência, QI e Métricas Alternativas
- Longa subthread sobre QI: alguns veem testes de QI como confiáveis entre humanos e correlacionados com resultados; outros dizem que eles capturam mal “intelecto”, habilidades sociais ou inteligência não humana (por exemplo, golfinhos, polvos).
- Os quebra-cabeças do ARC são comparados a testes de QI/espaciais: úteis para uma “forma” de inteligência, mas claramente não contam a história toda.
- Alguns preferem benchmarks matemáticos abertos (por exemplo, problemas de Erdős) por serem mais resistentes ao overfitting e mais indicativos de raciocínio de fronteira.
Saturação de Benchmarks, Problemas Difíceis e Computação
- Uma ala afirma que “qualquer coisa verificável acabará sendo resolvida por modelos”; outros contrapõem com tarefas que são fáceis de verificar, mas difíceis de aprender (por exemplo, ganhar dinheiro, dirigir com segurança, otimizar assinaturas).
- A discussão observa que, em muitos domínios, o gargalo não é computação, mas o custo e o risco de coletar recompensas do mundo real (por exemplo, colisões em direção autônoma).
Confiança, Fraude e Preocupações com Financiamento
- Alguns especulam sobre possível overfitting ou até exfiltração de itens privados do teste ARC, citando os incentivos e o comportamento passado de grandes laboratórios; isso segue não comprovado e é apresentado como suspeita, não como fato.
- Surgem perguntas sobre quem pagou os substanciais custos de computação; uma resposta sugere que a OpenAI forneceu essencialmente acesso irrestrito à API para essas avaliações.
Consciência e Utilidade Prática
- Um debate paralelo pergunta se consciência ou a capacidade de sentir dor são alguma vez necessárias para certos tipos de resolução de problemas; a maioria das respostas trata consciência como algo ortogonal à inteligência.
- Alguns comentaristas expressam ceticismo prático: até que os sistemas consigam lidar autonomamente com tarefas reais confusas (por exemplo, consertar uma torneira com vazamento), as altas pontuações em benchmarks parecem abstratas.