Fable 5 – Pensamento mediano caiu em agosto
A alegação de que o modelo Fable 5 da Anthropic teria se degradado silenciosamente ao longo de semanas, aparentemente “pensando” menos e performando pior, reacendeu o temor de que fornecedores de IA estejam cortando custos de inferência após o lançamento enquanto continuam vendendo o mesmo modelo com a mesma marca. Os comentaristas debatem quanto da queda percebida é real versus viés do usuário ou mudanças nas cargas de trabalho, e se a telemetria em nível de tokens e benchmarks de terceiros mostram uma subentrega sistemática em relação às capacidades de “raciocínio” anunciadas. A discussão se amplia para pedidos de transparência, regulação e maior uso de modelos open ou auto-hospedados para evitar testes A/B opacos, quantização oculta e qualidade de serviço variável.
Degradação percebida do modelo
- Muitos usuários relatam que o Fable 5 (e versões anteriores do Opus, além de modelos de outros fornecedores) parecem claramente piores semanas após o lançamento: menos proativos, mais superficiais, mais “dispostos a agradar”, piores em navegação de código e uso de ferramentas.
- As reclamações abrangem domínios (sistemas distribuídos, embarcados, programação geral, matemática, brainstorming); alguns dizem que as “oscilações de humor” do dia a dia fazem os modelos parecerem máquinas caça-níqueis.
- Vários apontam guardrails mais rígidos e mudanças no system prompt após intervenções de segurança como possível fonte do comportamento “nerfado”.
Possíveis causas técnicas / econômicas
- Hipóteses: menor compute em tempo de teste, quantização em runtime, “thinking tokens” reduzidos, resolução degradada do KV cache, redução de carga sob alta demanda, roteamento secreto para modelos mais baratos ou rebaixamentos automáticos de esforço no modo automático.
- Alguns sugerem que restrições de capacidade e o treinamento de novos modelos levam a realocar compute para longe dos modelos existentes.
- Outros propõem estratégias de “obsolescência planejada” / “tom de Shepard”: lançar com qualidade total, baratear gradualmente a inferência e depois lançar um “novo” modelo que basicamente restaura o comportamento original.
Medição, benchmarks e metodologia
- A análise original de “thinking token” é fortemente debatida:
- Os defensores dizem que o corpus de várias semanas e vários projetos, junto com tendências de tokens, sugere fortemente mudanças sistemáticas.
- Os críticos argumentam que isso é pós-hoc sobre cargas de trabalho em mudança, não um benchmark fixo; a variação diária pode vir do lado do usuário.
- Comparar sessões de programação com contagens de tokens de raciocínio do ARC-AGI-2 é visto por muitos como inadequado, já que essas tarefas são deliberadamente extremas.
- Rastreadores externos (por exemplo, benchmarks repetidos de programação) geralmente mostram pequenas flutuações; alguns veem quedas reais, outros dizem que estão dentro do ruído esperado.
Confiança, transparência e regulação
- Há forte preocupação de que os fornecedores operem “caixas-pretas” opacas, possam alterar quantização, esforço ou até os modelos subjacentes sem divulgação.
- Debate-se se isso é fraude direta ou se está coberto por ToS que permitem modificar ou degradar serviços.
- Vários pedidos por:
- Supervisão independente no estilo de “pesos e medidas”,
- SLAs ou métricas para “inteligência”,
- Provas da identidade do modelo/quantização por solicitação.
Percepção do usuário, não determinismo e alternativas
- Vários argumentam que humanos são ruins em julgar sistemas estocásticos e estão sujeitos à adaptação hedônica; o modelo pode ser constante enquanto as expectativas sobem ou os projetos ficam mais complexos.
- Outros insistem que a mudança é grande e abrupta demais para ser explicada apenas por sensação.
- A frustração está impulsionando o interesse em modelos open-weight e auto-hospedados (Qwen, GLM, DeepSeek etc.) para estabilidade e controle, mesmo que a capacidade de ponta seja um pouco menor ou os custos de hardware sejam altos.