El texto en la salida de “Extended Thinking” de Claude Code
Los principales proveedores de IA ocultan cada vez más el razonamiento bruto de sus modelos, el “chain-of-thought”, y en su lugar exponen solo rastros breves resumidos o blobs cifrados, como en la función “extended thinking” de Claude Code de Anthropic. Los comentaristas sostienen que esto se hace principalmente para impedir que competidores destilen procesos de razonamiento propietarios, pero también reduce la responsabilidad, oculta pensamientos intermedios potencialmente inquietantes y refuerza una dinámica de caja negra. Los críticos dicen que la opacidad dificulta depurar, medir la deriva del modelo y confiar en el comportamiento agéntico, mientras que otros responden que el texto del chain-of-thought es impreciso y no ofrece una ventana fiel a cómo estos sistemas calculan realmente sus respuestas.
Qué es realmente el “extended thinking”
- Muchos comentarios dicen que el visible “reasoning_summary” es en sí mismo un resumen de tokens ocultos de CoT, no la traza cruda token por token.
- Algunos sostienen que estas trazas ocultas son solo más generación de texto, no una ventana transparente a las activaciones internas ni al “pensamiento verdadero”.
- Otros señalan investigaciones que sugieren que incluso el CoT crudo a menudo no coincide fielmente con el cómputo subyacente.
Motivaciones para la resumificación y ocultación del CoT
- Motivo principal ampliamente creído: anti-distillation y protección de PI. El CoT completo facilita que competidores copien el “cómo” con el que los modelos frontier resuelven problemas.
- También se menciona:
- Reducir la responsabilidad legal y el riesgo de relaciones públicas por revelar texto interno desalineado o “demente”.
- Seguridad: impedir que los usuarios editen el CoT, inyecten instrucciones o manipulen señales de retroalimentación.
- UX: el CoT crudo puede ser largo, raro o ilegible; los resúmenes son más rápidos de revisar.
Utilidad y limitaciones del razonamiento visible
- Algunos usuarios encuentran el CoT completo muy útil para depurar, detectar supuestos incorrectos a mitad de proceso y medir la deriva del modelo con el tiempo.
- Otros dicen que rara vez leen cadenas completas; una justificación breve o ningún CoT está bien para consultas cotidianas.
- Varios señalan que el “pensamiento” de los LLM a menudo parece post-hoc, ruidoso o en una especie de jerga (“neuralese”), por lo que su valor interpretativo es limitado.
Seguridad, protección y modelos de amenaza
- Preocupación: el razonamiento oculto junto con llamadas a herramientas podría permitir exfiltración por prompt injection o acciones “secretas” que los usuarios no pueden auditar.
- Contrapunto: según se informa, la mayoría de los grandes proveedores eliminan o descartan los tokens de razonamiento del contexto en algunos casos, y las llamadas a herramientas de todos modos deben mostrarse de alguna forma.
- No queda claro en el hilo qué proveedores conservan qué tokens de pensamiento, cuándo y cómo se reutilizan blobs cifrados.
Modelos de negocio, fosos y apertura
- Muchos ven el CoT oculto como parte de construir un foso económico alrededor de modelos propietarios que, de otro modo, no tendrían un “foso” real.
- Otros argumentan que es protección IP estándar, análoga al software de código cerrado o a los secretos comerciales.
- Algunos prefieren encarecidamente modelos abiertos o chinos que exponen el razonamiento crudo, y califican a los asistentes opacos de “caja negra” como socialmente dañinos y malos para el trabajo serio.