A agregação de tokens de raciocínio no GPT-5.5 Codex pode estar levando a desempenho degradado

Artigo original ↗ Discussão no Hacker News ↗

Bug observado e sintomas

  • O GPT‑5.5 (especialmente no uso do Codex) mostra o reasoning_output_tokens se agrupando em valores específicos: 516, 1034, 1552, etc. (≈518 de distância).
  • Essas execuções agrupadas estão fortemente associadas a respostas erradas em tarefas de raciocínio complexo.
  • O fenômeno parece comum no GPT‑5.5, menos no 5.4, e quase ausente no 5.2/5.3.
  • Alguns usuários relatam ver picos idênticos no Codex CLI e nos logs do desktop e até em segmentos de raciocínio criptografados.

Experimentos dos usuários e impacto

  • Quebra-cabeças simples e reproduzíveis mostram dois modos:
    • ~516 tokens de raciocínio → solução errada.
    • Milhares de tokens de raciocínio → solução correta.
  • Vários relatam cerca de 40% das execuções caindo no estado de “curto-circuito” de 516 tokens.
  • Outros compartilham histogramas de sessões passadas confirmando picos acentuados em 516 + 518·n.
  • Alguns veem efeitos semelhantes no 5.4; outros dizem que o nível alto do 5.4 continua confiável.

Hipóteses sobre a causa raiz

  • Bug de inferência / harness em vez de pesos do modelo:
    • Raciocínio baseado em lotes ou em blocos (≈512 tokens por bloco) como otimização de throughput.
    • Corte mal configurado do “adaptive thinking” / orçamento de raciocínio.
    • Interação com um prompt de sistema interno ## Intermediary updates.
  • Alguns rejeitam narrativas de “nerf intencional”; outros acham que otimizações de redução de custo podem ter degradado a qualidade.

Versões do modelo e qualidade percebida

  • Vários usuários sentem que o GPT‑5.5 regrediu em relação ao lançamento e ao 5.3-codex, citando saídas mais “estúpidas” ou rasas.
  • Alguns migraram do 5.5 de volta para o 5.4, ou para Claude, ou para modelos locais/outras nuvens; outros fizeram o oposto após regressões do Claude.
  • Um site de benchmarking linkado no tópico não mostra degradação clara, o que levou a debate sobre o que realmente está sendo medido.

Negócios, confiança e abertura

  • Preocupação de que modelos “frontier” por assinatura sejam alterados silenciosamente ao longo do tempo; pedidos de reembolso ou mais transparência.
  • Contra-argumento: os ToS permitem otimizações no backend; comportamento consistente só é garantido se você hospedar os modelos por conta própria.
  • Apreciação pelo fato de o Codex ser open source e ter um rastreador público de issues, mas frustração pelo fato de uma issue relacionada anterior ter sido encerrada sem explicação.
  • Discussão sobre o uso de harnesses personalizados (por exemplo, Pi, OpenCode), integração com CI/CD e modelos locais para evitar mudanças opacas do lado do servidor.