A agregação de tokens de raciocínio no GPT-5.5 Codex pode estar levando a desempenho degradado

Artigo original ↗ Discussão no Hacker News ↗

Usuários relatam um bug reproduzível no GPT‑5.5 Codex da OpenAI em que tokens internos de “raciocínio” se agrupam em limites fixos (por volta de 516 + 518n), frequentemente coincidindo com respostas incorretas em problemas complexos. Muitos percebem uma queda acentuada na confiabilidade em comparação com versões anteriores do GPT‑5.x, especulam que otimizações agressivas de economia de custo ou limites adaptativos de raciocínio estejam mal configurados e contrastam isso com a relativa estabilidade de modelos antigos ou configurações locais. O incidente está alimentando preocupações mais amplas sobre mudanças opacas no lado do servidor, lock-in de fornecedor e a necessidade de ferramentas de IA mais transparentes e controláveis.

Bug observado e sintomas

  • O GPT‑5.5 (especialmente no uso do Codex) mostra o reasoning_output_tokens se agrupando em valores específicos: 516, 1034, 1552, etc. (≈518 de distância).
  • Essas execuções agrupadas estão fortemente associadas a respostas erradas em tarefas de raciocínio complexo.
  • O fenômeno parece comum no GPT‑5.5, menos no 5.4, e quase ausente no 5.2/5.3.
  • Alguns usuários relatam ver picos idênticos no Codex CLI e nos logs do desktop e até em segmentos de raciocínio criptografados.

Experimentos dos usuários e impacto

  • Quebra-cabeças simples e reproduzíveis mostram dois modos:
    • ~516 tokens de raciocínio → solução errada.
    • Milhares de tokens de raciocínio → solução correta.
  • Vários relatam cerca de 40% das execuções caindo no estado de “curto-circuito” de 516 tokens.
  • Outros compartilham histogramas de sessões passadas confirmando picos acentuados em 516 + 518·n.
  • Alguns veem efeitos semelhantes no 5.4; outros dizem que o nível alto do 5.4 continua confiável.

Hipóteses sobre a causa raiz

  • Bug de inferência / harness em vez de pesos do modelo:
    • Raciocínio baseado em lotes ou em blocos (≈512 tokens por bloco) como otimização de throughput.
    • Corte mal configurado do “adaptive thinking” / orçamento de raciocínio.
    • Interação com um prompt de sistema interno ## Intermediary updates.
  • Alguns rejeitam narrativas de “nerf intencional”; outros acham que otimizações de redução de custo podem ter degradado a qualidade.

Versões do modelo e qualidade percebida

  • Vários usuários sentem que o GPT‑5.5 regrediu em relação ao lançamento e ao 5.3-codex, citando saídas mais “estúpidas” ou rasas.
  • Alguns migraram do 5.5 de volta para o 5.4, ou para Claude, ou para modelos locais/outras nuvens; outros fizeram o oposto após regressões do Claude.
  • Um site de benchmarking linkado no tópico não mostra degradação clara, o que levou a debate sobre o que realmente está sendo medido.

Negócios, confiança e abertura

  • Preocupação de que modelos “frontier” por assinatura sejam alterados silenciosamente ao longo do tempo; pedidos de reembolso ou mais transparência.
  • Contra-argumento: os ToS permitem otimizações no backend; comportamento consistente só é garantido se você hospedar os modelos por conta própria.
  • Apreciação pelo fato de o Codex ser open source e ter um rastreador público de issues, mas frustração pelo fato de uma issue relacionada anterior ter sido encerrada sem explicação.
  • Discussão sobre o uso de harnesses personalizados (por exemplo, Pi, OpenCode), integração com CI/CD e modelos locais para evitar mudanças opacas do lado do servidor.