Qwen3.8 Max agora ocupa o primeiro lugar como melhor modelo geral pelo índice agentic

Artigo original ↗ Discussão no Hacker News ↗

O Qwen 3.8 Max, um grande modelo chinês open-weights, apareceu brevemente como o modelo “agentic” nº 1 no leaderboard da Artificial Analysis, o que gerou escrutínio sobre como esses benchmarks compostos são construídos e atualizados. Comentadores comparam suas capacidades, custo e estilo de raciocínio que consome muitos tokens com rivais como o Opus da Anthropic, o GPT 5.6 da OpenAI, o Kimi K3 e o DeepSeek, observando que, em pontuações brutas de “inteligência”, ele ainda fica atrás de alguns modelos proprietários e é caro para operar. Um tema recorrente é que os modelos de fronteira chineses e os modelos abertos já estão próximos o suficiente em qualidade para que trade-offs como preço, latência, capacidade de auto-hospedagem e estilo de interação importem mais do que pequenas diferenças em pontuações de benchmark.

Benchmarks e afirmação de “Melhor Modelo”

  • A Artificial Analysis tem vários índices:
    • Agentic Index (GDPval‑AA v2, Tau³‑Banking), onde o Qwen3.8 Max chegou brevemente ao topo, mas agora está em #2 após uma atualização de metodologia.
    • Coding Agent Index (DeepSWE, Terminal‑Bench, SWE‑Atlas‑QnA), onde o Qwen3.8 Max foi testado apenas parcialmente e fica atrás de alguns modelos da OpenAI nos benchmarks em comum.
  • Vários comentaristas veem a formulação inicial de “melhor modelo geral” como algo caça-cliques e observam que a vitória é estreita e específica de benchmark.
  • A atualização de metodologia (incluindo um novo modelo avaliador) ocorreu enquanto as pessoas estavam acompanhando, causando mudanças visíveis de pontuação/ordem e alimentando suspeitas sobre a neutralidade do leaderboard.

Qualidade do modelo e experiência do usuário

  • Muitos relatam que os modelos Qwen, especialmente as grandes variantes 3.6/3.8, são excelentes para troubleshooting, fluxos de trabalho agentic e programação em geral; alguns os comparam favoravelmente com Anthropic e OpenAI em depuração complexa.
  • Outros acham os modelos Qwen/chineses desleixados ou inconsistentes: mudam formatos no meio da sessão, omitem itens solicitados ou precisam de prompts mais explícitos.
  • Leaderboards brutos de “índice de inteligência” ainda costumam colocar o Opus 5 e outros modelos proprietários à frente; alguns desconfiam de qualquer benchmark em que o Opus supere alternativas que eles consideram mais fortes no uso diário.

Custo, tokens e economia

  • O Qwen3.8 Max é open-weights, mas enorme (~escala de trilhão), então é majoritariamente apenas em nuvem e quase tão caro por tarefa quanto os principais modelos proprietários.
  • Comentadores enfatizam que modelos pesados em raciocínio podem emitir muitos tokens, tornando modelos de preço intermediário efetivamente tão caros por tarefa quanto os de ponta.
  • Outros destacam opções fortes mais baratas (por exemplo, DeepSeek v4 Flash, Grok 4.5, GPT‑5.6 Luna após cortes de preço) e argumentam que custo por qualidade agora é o principal diferencial.

Modelos locais e menores

  • Há forte interesse no futuro Qwen 3.8 27B e nos Qwen 3.6 27B/35B A3B já existentes como candidatos a “padrão local” em GPUs prosumer e Apple silicon.
  • Trade-offs discutidos: o 27B é visto como mais inteligente, porém mais lento e pesado em KV cache; o 35B A3B é mais rápido e “mais burro”, mas suficiente para pair-programming.

Anthropic / Claude vs. outros

  • Muitos descrevem o Opus 5 em agentes de programação como prolixo, excessivamente planejador, “gastador de tokens” e relutante em executar o trabalho; alguns voltam para o Opus 4.6/4.8 antigo ou migram para Qwen/DeepSeek/OpenAI.
  • Outros relatam o Opus 5 como uma melhora clara na جودة do código, desde que você ajuste os prompts e as configurações de estilo de saída, mas ainda reclamam da sua prosa e personalidade.
  • O preço de assinatura versus API da Anthropic é visto como estranhamente desalinhado; alguns sentem que os créditos desaparecem muito rápido em enxames agentic.

China, distilação e viés

  • Comentadores argumentam que a China efetivamente “alcançou”; as diferenças entre os modelos de fronteira agora parecem pequenas e mais guiadas por caso de uso/marca/personalidade.
  • As experiências com DeepSeek, GLM, Kimi, Qwen variam bastante: alguns os consideram transformadores e muito melhores em valor; outros relatam confiabilidade pior do que a dos modelos dos EUA.
  • Há debate sobre se os modelos chineses são fortemente destilados a partir de saídas ocidentais e se isso é eticamente diferente de treinar com dados da web.
  • Alguns levantam preocupações sobre censura e moldagem narrativa em modelos chineses; outros respondem que todos os grandes fornecedores, chineses e ocidentais, incorporam seus próprios vieses.

Harnesses agentic e comunicação

  • Várias pessoas ressaltam que os benchmarks deixam passar um fator-chave para agentes de programação: quão claramente o modelo explica o que fez.
  • O Opus 5, em particular, é criticado por jargão denso, terminologia inventada e atualizações prolixas que dificultam a supervisão humana, apesar da forte capacidade bruta.
  • Vários sugerem que talvez tenhamos chegado a um platô de inteligência “bom o suficiente”, em que velocidade, custo e qualidade da comunicação importam mais do que pequenas diferenças de benchmark.