Deja de antropomorfizar los tokens intermedios como trazas de razonamiento/pensamiento

Naturaleza de las “trazas de pensamiento” y CoT

• Muchos sostienen que los tokens intermedios (“ahá”, “espera, eso está mal”, CoT) no son pensamientos genuinos ni estado interno, sino solo predicciones del siguiente token condicionadas por el texto previo.
• Algunos los ven como “notas” o “diarrea verbal” que rellenan el contexto para que la atención recupere mejores patrones; otros los llaman trucos retóricos o “monólogos de cine negro” indistinguibles del diálogo de un personaje.
• Una visión minoritaria sugiere que quizá exista un patrón semántico laxo pero real: por ejemplo, “ahá” suele preceder a un cambio hacia una mejor respuesta, así que producirlo podría empujar los tokens posteriores hacia patrones útiles.

Antropomorfizar a los LLMs

• Muchos participantes ven la antropomorfización como un problema serio: engaña a los no expertos, alimenta la “psicosis de la IA” y confunde a jueces y responsables políticos sobre lo que realmente hacen los modelos.
• Otros dicen que la antropomorfización ligera es normal y divertida (como con bases de datos o impresoras) y no implica una creencia real en mentes de máquina.
• Preocupa que los proveedores elijan intencionalmente términos humanizados (“razonamiento”, “agentes”, “compañeros”) para exagerar la capacidad.
• Contraargumento: los LLMs muestran patrones de interacción similares a los humanos (responden mejor al ánimo), y ignorar ese comportamiento puede ser prácticamente irracional, aunque solo sea un efecto de los datos de entrenamiento.

Utilidad y riesgos de exponer tokens de razonamiento

• Algunos usuarios encuentran útiles las trazas para detectar malentendidos temprano en tareas largas.
• Otros argumentan que los usuarios deberían ignorar en gran medida las trazas; pueden ser una “sofistería” persuasiva que hace que respuestas incorrectas parezcan fiables.
• Si las trazas no son fieles al cálculo subyacente, son malos artefactos de auditoría y se prestan fácilmente a ser malinterpretados como “intención” real.

Debates sobre conciencia, inteligencia y analogía

• Amplio intercambio sobre si los LLMs “piensan”, “entienden” o podrían ser “conscientes”, sin consenso.
• Un lado enfatiza sistemas mecánicos de pesos fijos que carecen de memoria al estilo humano, corporalidad y complejidad biológica; lenguaje ≠ pensamiento.
• Otro lado sostiene que no tenemos definiciones precisas de la conciencia y sabemos que la introspección humana es poco fiable, así que las afirmaciones fuertes de no conciencia son demasiado confiadas.
• Las analogías se disputan: los críticos comparan “los LLMs piensan” con llamar a las bombillas “pequeñas estrellas”; otros dicen que tanto bombillas como estrellas “producen luz”, y tanto humanos como LLMs “producen pensamientos” en un sentido pragmático.

Terminología, estilo del artículo y críticas

• Varios no gustan de títulos imperativos y “clickbait” (“Deja de hacer X”), porque les parecen estilo de entrada de blog.
• Otros señalan que esto es explícitamente un artículo de posición; se espera un encuadre normativo fuerte.
• Algunos critican la argumentación del artículo por ser internamente inconsistente o por desestimar en exceso la semántica distribucional.
• Hay confusión y debate sobre qué son las “trazas de pensamiento” si no razonamiento; se sugieren cosas como “aumento aprendido de prompts” o patrones de tokens impulsados puramente por la optimización.

Implicaciones de ingeniería y prácticas

• Los participantes insisten en construir sistemas que registren entradas, modelo/versión, llamadas a herramientas y salidas para poder reproducir el comportamiento, en lugar de depender de autodescripciones.
• Hay amplio acuerdo en que los modelos a menudo llegan a buenas conclusiones mediante procesos opacos, y que sobreinterpretar el texto intermedio como razonamiento genuino es inseguro y engañoso.