Quiet-STaR: Los modelos de lenguaje pueden enseñarse a sí mismos a pensar antes de hablar

Artículo original ↗ Discusión en Hacker News ↗

Los investigadores presentan el nuevo enfoque “Quiet-STaR”, que entrena a los modelos de lenguaje para generar cadenas internas de pensamiento antes de responder, con la intención de darles una forma más humana de razonamiento deliberativo estilo “Sistema 2” en lugar de respuestas solo rápidas y reflejas. Los comentaristas lo conectan con la psicología (el modelo de dos sistemas de Kahneman, la conciencia, el monólogo interno), debaten qué significan realmente la inteligencia y el “pensar”, y discuten si la predicción por sí sola puede explicar la cognición humana. Otros se centran en los límites prácticos y el entusiasmo exagerado: señalan el razonamiento frágil de los modelos actuales, la falta de aprendizaje en línea, los baselines de evaluación endebles y la utilidad real mixta, aunque siguen viendo valor en herramientas que descargan tareas rutinarias de código y texto.

Relación con la cognición humana

  • Muchos comentaristas relacionan los prompts de chain-of-thought y el “pensar antes de hablar” al estilo Quiet-STaR con las teorías de sistemas duales de la mente (rápido/automático frente a lento/deliberativo).
  • La deliberación se compara con crear un “espacio de trabajo” interno o una simulación (diorama mental, bucle OODA, “bucles de pensamiento” de agentes).
  • Algunos señalan ideas similares en otros marcos cognitivos (red neuronal en modo predeterminado, “A brain/B brain”) y sugieren que los agentes metacognitivos inspirados en el cerebro son un siguiente paso natural.

¿Qué es la inteligencia? ¿Predicción o algo más?

  • Una afirmación recurrente: la inteligencia es fundamentalmente la capacidad de predecir resultados futuros a partir de la experiencia pasada; la corteza humana y los LLMs se consideran máquinas de predicción.
  • Otros objetan que este concepto omite la creatividad, la abstracción y el razonamiento simbólico; la predicción se ve como un subconjunto de la inteligencia, no su definición.
  • Un debate extendido explora el libre albedrío, la aleatoriedad, el contexto evolutivo y si las mentes humanas son “solo” predictores materiales o manejan conceptos realmente inmateriales.

Razonamiento, CoT y Quiet-STaR

  • La discusión destaca que los LLMs simples actúan como “Sistema 1” (emisores reflexivos de tokens); el razonamiento explícito paso a paso se considera un “Sistema 2” rudimentario.
  • El chain-of-thought se presenta como planificación / espacio de borrador, ayudando a evitar “hablarse en un callejón sin salida” y algunas alucinaciones.
  • Preocupaciones: las cadenas de razonamiento acumulan errores en cada paso; los componentes simbólicos/deterministas pueden seguir siendo necesarios para un razonamiento fiable de muchos pasos.
  • Algunos ven los pensamientos autogenerados al estilo Quiet-STaR como un posible ingrediente de la AGI; otros argumentan que no existe una sola “pieza que falta”.

Aprendizaje, memoria y adaptación en línea

  • Se enfatiza fuertemente que la competencia de tipo humano probablemente necesita aprendizaje continuo, en el trabajo, a partir de las propias acciones, y no solo preentrenamiento por lotes o fine-tuning ocasional.
  • Contrapunto: el contexto, la atención y el RL/Fine-tuning fuera de línea podrían sustituir las actualizaciones reales de pesos en línea, aunque muchos señalan que los métodos actuales son frágiles e ineficientes.

Conciencia y habla interna

  • Un largo subhilo compara experiencias de monólogo interno frente al pensamiento no verbal/visual, corrientes paralelas de pensamiento y estados cercanos al sueño o meditativos que revelan procesos rápidos/lentos.
  • Algunos especulan que la conciencia puede ser una “salida curada” de un procesamiento más profundo, más rápido y en su mayor parte inconsciente.

Uso práctico y escepticismo

  • Opiniones mixtas sobre la utilidad de los LLMs: algunos los encuentran transformadores para código repetitivo, SQL, regex, scripts de devops, escritura y resumen.
  • Otros informan errores confiados con frecuencia en tareas no triviales y ven una burbuja de hype; la utilidad suele quedar limitada a tareas triviales o fáciles de verificar.

Seguridad y metodología

  • La contaminación de conjuntos de datos se reconoce como un riesgo real pero infravalorado.
  • Algunos critican las elecciones de evaluación del artículo (baselines débiles, problemas de formato en GSM8K) y señalan trabajos previos relacionados sobre cómputo variable en redes neuronales.