O Opus 5.5 foi nerfado? Padrões de pensamento mudaram em 3 de novembro
Usuários do modelo Claude Opus 5.5 da Anthropic relatam uma queda repentina na qualidade do código, na confiabilidade e no comportamento de “pensamento”, levando muitos a suspeitar que o modelo foi silenciosamente “nerfado”, especialmente antes de novos lançamentos de modelos e do IPO da empresa. Outros contrapõem que rastreadores de benchmarks e avaliações via API não mostram degradação clara, sugerindo variação normal, mudanças no harness ou viés dos usuários em vez de um rebaixamento deliberado. O debate destaca a crescente desconfiança em atualizações opacas de modelos, preocupações com testes A/B e corte de custos em planos pagos, e renovado interesse em modelos de pesos abertos ou auto-hospedados, que oferecem comportamento mais previsível mesmo sendo menos capazes.
Percepção de “nerf” do Opus 5.5 e modelos relacionados
- Muitos usuários relatam uma queda clara na qualidade do Opus 5.5 a partir de cerca de 3–7 de nov.: mais erros básicos, etapas puladas, código pior, falhas repetidas em chamadas de ferramentas, ignorar instruções anteriores e comportamento “de ressaca” / preguiçoso.
- Alguns também relatam que o Fable e outros modelos da Anthropic ficaram mais lentos, mais verbosos, menos confiáveis e acionando barreiras de segurança com mais frequência.
- Vários mencionam precisar elevar o nível de esforço (por exemplo, para “high”/“x-high”) para obter resultados que antes funcionavam em “low”/“medium”, além de consumir os limites de uso muito mais rapidamente.
Explicações propostas (especulativas dentro do thread)
- Capacidade / custo: realocar compute para treinar ou lançar novos modelos; quantização pesada ou distilação para variantes mais baratas; reduzir tokens de pensamento ou contexto; priorizar tráfego “fast” ou corporativo/API em vez de usuários de assinatura.
- Marketing / IPO: enfraquecer modelos antigos antes de novos lançamentos para que as melhorias pareçam dramáticas; obsolescência planejada / “enshittification.”
- Testes A/B: experimentos silenciosos em prompts de harness, camadas de segurança, roteamento e níveis de quantização; alguns afirmam que usuários de assinatura são mais afetados do que versões via API ou hospedadas na nuvem.
- Bugs: exemplos anteriores citados de regressões relacionadas ao harness ou a TPU, problemas no manuseio de cache ou mudanças em prompts prejudicando o desempenho.
Ceticismo e contrapontos
- Vários comentadores dizem que seu uso contínuo de longo prazo não mostra degradação significativa além da variação normal.
- Rastreamentos públicos (por exemplo, Livenerf, nerf-bench, outros benchmarks) e alguns conjuntos privados de avaliação supostamente não veem queda clara no desempenho do Opus 5.5, especialmente via API.
- Alguns atribuem o padrão à psicologia humana: novidade alta quando os modelos são lançados, depois as expectativas aumentam e as falhas se tornam mais salientes; viés de confirmação em torno de narrativas de “nerf”.
- Algumas pequenas avaliações mostram, no máximo, mudanças modestas ou estatisticamente pouco claras.
Temas mais amplos: confiança, determinismo e risco de negócios
- Forte frustração com ferramentas pagas que mudam de forma imprevisível, quebrando fluxos de trabalho, revisões de segurança e projetos de longa duração.
- Modelos locais/de pesos abertos são elogiados pela estabilidade e controle de versão, apesar da menor capacidade bruta e dos altos custos de hardware; outros argumentam que modelos de fronteira na nuvem continuam muito à frente em qualidade e produtividade geral.
- Pedidos por:
- Changelogs transparentes para modelos e harnesses.
- Rastreamento independente e contínuo no estilo nerf-bench (incluindo testes “secret shopper” de assinaturas).
- Separação clara entre novas versões e mudanças silenciosas em SKUs existentes.
- No geral, se ocorreu ou não um nerf real e mensurável permanece incerto no thread; o que está claro é uma perda generalizada de confiança na estabilidade dos modelos.