O Opus 5.5 foi nerfado? Padrões de pensamento mudaram em 3 de novembro

Usuários do modelo Claude Opus 5.5 da Anthropic relatam uma queda repentina na qualidade do código, na confiabilidade e no comportamento de “pensamento”, levando muitos a suspeitar que o modelo foi silenciosamente “nerfado”, especialmente antes de novos lançamentos de modelos e do IPO da empresa. Outros contrapõem que rastreadores de benchmarks e avaliações via API não mostram degradação clara, sugerindo variação normal, mudanças no harness ou viés dos usuários em vez de um rebaixamento deliberado. O debate destaca a crescente desconfiança em atualizações opacas de modelos, preocupações com testes A/B e corte de custos em planos pagos, e renovado interesse em modelos de pesos abertos ou auto-hospedados, que oferecem comportamento mais previsível mesmo sendo menos capazes.

Percepção de “nerf” do Opus 5.5 e modelos relacionados

  • Muitos usuários relatam uma queda clara na qualidade do Opus 5.5 a partir de cerca de 3–7 de nov.: mais erros básicos, etapas puladas, código pior, falhas repetidas em chamadas de ferramentas, ignorar instruções anteriores e comportamento “de ressaca” / preguiçoso.
  • Alguns também relatam que o Fable e outros modelos da Anthropic ficaram mais lentos, mais verbosos, menos confiáveis e acionando barreiras de segurança com mais frequência.
  • Vários mencionam precisar elevar o nível de esforço (por exemplo, para “high”/“x-high”) para obter resultados que antes funcionavam em “low”/“medium”, além de consumir os limites de uso muito mais rapidamente.

Explicações propostas (especulativas dentro do thread)

  • Capacidade / custo: realocar compute para treinar ou lançar novos modelos; quantização pesada ou distilação para variantes mais baratas; reduzir tokens de pensamento ou contexto; priorizar tráfego “fast” ou corporativo/API em vez de usuários de assinatura.
  • Marketing / IPO: enfraquecer modelos antigos antes de novos lançamentos para que as melhorias pareçam dramáticas; obsolescência planejada / “enshittification.”
  • Testes A/B: experimentos silenciosos em prompts de harness, camadas de segurança, roteamento e níveis de quantização; alguns afirmam que usuários de assinatura são mais afetados do que versões via API ou hospedadas na nuvem.
  • Bugs: exemplos anteriores citados de regressões relacionadas ao harness ou a TPU, problemas no manuseio de cache ou mudanças em prompts prejudicando o desempenho.

Ceticismo e contrapontos

  • Vários comentadores dizem que seu uso contínuo de longo prazo não mostra degradação significativa além da variação normal.
  • Rastreamentos públicos (por exemplo, Livenerf, nerf-bench, outros benchmarks) e alguns conjuntos privados de avaliação supostamente não veem queda clara no desempenho do Opus 5.5, especialmente via API.
  • Alguns atribuem o padrão à psicologia humana: novidade alta quando os modelos são lançados, depois as expectativas aumentam e as falhas se tornam mais salientes; viés de confirmação em torno de narrativas de “nerf”.
  • Algumas pequenas avaliações mostram, no máximo, mudanças modestas ou estatisticamente pouco claras.

Temas mais amplos: confiança, determinismo e risco de negócios

  • Forte frustração com ferramentas pagas que mudam de forma imprevisível, quebrando fluxos de trabalho, revisões de segurança e projetos de longa duração.
  • Modelos locais/de pesos abertos são elogiados pela estabilidade e controle de versão, apesar da menor capacidade bruta e dos altos custos de hardware; outros argumentam que modelos de fronteira na nuvem continuam muito à frente em qualidade e produtividade geral.
  • Pedidos por:
    • Changelogs transparentes para modelos e harnesses.
    • Rastreamento independente e contínuo no estilo nerf-bench (incluindo testes “secret shopper” de assinaturas).
    • Separação clara entre novas versões e mudanças silenciosas em SKUs existentes.
  • No geral, se ocorreu ou não um nerf real e mensurável permanece incerto no thread; o que está claro é uma perda generalizada de confiança na estabilidade dos modelos.