O texto na saída de “Extended Thinking” do Claude Code
Grandes fornecedores de IA estão cada vez mais escondendo o raciocínio bruto de “chain-of-thought” de seus modelos, expondo apenas rastros curtos e resumidos ou blobs criptografados, como no recurso “extended thinking” do Claude Code da Anthropic. Os comentaristas argumentam que isso serve principalmente para impedir que concorrentes destilem processos de raciocínio proprietários, mas também reduz responsabilidade, mascara pensamentos intermediários potencialmente perturbadores e reforça uma dinâmica de caixa preta. Críticos dizem que a opacidade dificulta depuração, medir o drift do modelo e confiar no comportamento agentivo, enquanto outros contrapõem que o texto de chain-of-thought é lossy e não é uma janela fiel para como esses sistemas realmente computam suas respostas.
O que o “extended thinking” realmente é
- Muitos comentários dizem que o visível “reasoning_summary” é, por si só, um resumo de tokens ocultos de CoT, não o rastreamento bruto token por token.
- Alguns argumentam que esses rastros ocultos são apenas mais geração de texto, não uma janela transparente para ativações internas ou “pensamento verdadeiro”.
- Outros observam pesquisas sugerindo que até mesmo o CoT bruto muitas vezes não corresponde fielmente ao cálculo subjacente.
Motivações para resumir e ocultar CoT
- Motivo primário amplamente acreditado: anti-distillation e proteção de IP. O CoT completo facilita para concorrentes copiarem o “como” dos modelos de fronteira resolverem problemas.
- Também citado:
- Reduzir responsabilidade e risco de PR ao revelar texto interno desalinhado ou “deranged”.
- Segurança: impedir que usuários editem o CoT, injete instruções ou manipulem sinais de feedback.
- UX: CoT bruto pode ser longo, estranho ou ilegível; resumos são mais rápidos de analisar.
Utilidade e limitações do raciocínio visível
- Alguns usuários acham o CoT completo muito útil para depuração, para detectar suposições erradas no meio do caminho e para medir o drift do modelo ao longo do tempo.
- Outros dizem que raramente leem cadeias completas; uma justificativa curta ou nenhum CoT é suficiente para consultas do dia a dia.
- Vários apontam que o “pensamento” de LLMs muitas vezes parece pós-hoc, ruidoso ou em quasi-jargão (“neuralese”), então seu valor interpretativo é limitado.
Segurança, proteção e modelos de ameaça
- Preocupação: raciocínio oculto mais chamadas de ferramentas poderiam permitir exfiltração por prompt injection ou ações “secretas” que os usuários não conseguem auditar.
- Contraponto: a maioria dos grandes fornecedores supostamente remove ou descarta tokens de raciocínio do contexto em alguns casos, e as próprias chamadas de ferramentas ainda precisam aparecer de algum modo.
- Não fica claro no fio exatamente quais fornecedores mantêm quais tokens de pensamento, quando e como blobs criptografados são reutilizados.
Modelos de negócio, fossos e abertura
- Muitos veem o CoT oculto como parte da construção de um fosso econômico em torno de modelos proprietários que, de outra forma, não teriam um verdadeiro “moat”.
- Outros argumentam que isso é proteção de IP padrão, análoga a software de código fechado ou segredos comerciais.
- Alguns preferem fortemente modelos abertos ou chineses que expõem o raciocínio bruto, chamando assistentes opacos de “caixa preta” de socialmente prejudiciais e ruins para trabalho sério.