Leaderboard ARC-AGI
Um novo leaderboard do ARC-AGI mostrando o Opus 5 da Anthropic muito à frente de outros modelos provocou escrutínio sobre quão confiáveis ainda são os benchmarks de IA. Comentadores questionam se os modelos estão sendo “benchmaxxed” por treinamento em quebra-cabeças semelhantes, scaffolds de prompt ocultos ou dados de teste vazados, e debatem se as tarefas em estilo de jogo do ARC-AGI medem de fato inteligência geral ou apenas desempenho em um gênero estreito. O thread também traz preocupações sobre promessas de retenção de dados de modelos fechados, a exclusão de harnesses e agentes das pontuações oficiais, e uma lacuna crescente entre resultados impressionantes em benchmarks e a utilidade cotidiana percebida dos modelos de fronteira.
Desempenho e credibilidade do Opus 5 no ARC-AGI-3
- Comentadores observam uma diferença enorme entre o Opus 5 e outros modelos no ARC-AGI-3; alguns acham isso “insano” depois de tentar as tarefas.
- Outros questionam a plausibilidade: tentativas abertas atuais (por exemplo, Kaggle) supostamente chegam a ~2% com muito poder computacional, e algumas alegações de “99%” em subconjuntos públicos são vistas como não comprovadas.
- Vários suspeitam de treinamento direcionado em tarefas no estilo ARC-AGI-3, em vez de um salto amplo em “inteligência geral”.
Benchmaxxing, contaminação e conjuntos de dados privados
- Preocupação persistente de que benchmarks são fáceis de “benchmaxx” por meio de memorização, treinamento específico por gênero ou instruções ocultas.
- Alguns argumentam que o comportamento do Opus 5 (perfeito em tarefas parecidas com modelos, pior em tarefas novas) parece treinamento em dados específicos do gênero, não ganhos de raciocínio geral.
- Outros apontam a dificuldade de provar contaminação; existem divisões privadas/semi-privadas, mas elas ainda podem vazar por meio de rastros, leitura do harness ou dados compartilhados por usuários.
Harnesses vs avaliação por prompt único
- Debate sobre permitir “harnesses” (wrappers que usam ferramentas) em torno dos modelos.
- Um lado: harnesses dominam o desempenho, então os benchmarks medem o wrapper, não o modelo; permitir harnesses específicos do ARC quebra o “G” em AGI.
- O outro lado: humanos usam ferramentas; proibir harnesses torna o benchmark menos relevante para sistemas de agentes do mundo real. Alguns sugerem deixar os modelos criarem suas próprias ferramentas durante a sessão.
Retenção de dados, Fable e confiança
- Fable está ausente porque sua política de retenção de dados supostamente impediu o uso seguro do conjunto semi-privado.
- Vários comentadores desconfiam das garantias de “sem treinamento” dos grandes laboratórios, embora um observe que uma alegação de retenção zero se manteve em tribunal.
- Alguns levantam a dificuldade de distinguir “nunca armazenado” de “armazenado e depois apagado”.
Experiência do usuário vs ganhos em benchmark
- Um subconjunto de usuários sente que novos modelos têm melhor desempenho em benchmarks, mas não parecem substancialmente mais úteis do que os antigos, ou até parecem “piores” devido a restrições e cautela excessiva.
- Outros relatam melhorias claras (por exemplo, em raciocínio técnico de nicho) e atribuem a aparente estagnação à adaptação hedônica.
ARC-AGI é um bom benchmark?
- Críticos dizem que o ARC-AGI-3 dá peso demais a quebra-cabeças em estilo de jogo, pressupõe convenções humanas de gameplay e está mal alinhado com os pontos fortes de LLMs centrados em texto.
- Defensores argumentam que tarefas interativas, novas e em estilo de jogo são exatamente o que é necessário para testar generalização e raciocínio sem ferramentas.
Custos, incentivos e retórica de AGI
- Alguns torcem o nariz para os custos de avaliação relatados (até dezenas de milhares de dólares).
- Há ceticismo de que enormes apostas financeiras e o marketing de “AGI/ASI” criem fortes incentivos para overfitting ou trapaça em benchmarks.
- Alguns argumentam que a AGI ainda está a 10–20 anos de distância e que os sistemas atuais são correspondência avançada de padrões, não verdadeira inteligência geral.