Los modelos de lenguaje grandes son razonadores neurosimbólicos

Percepción de la afirmación de “razonador neurosimbólico”

• Algunos ven el artículo como una confirmación de algo obvio: los LLM pueden implementar operaciones similares a las simbólicas sobre texto, pero eso no se siente como un gran paso adelante.
• Otros creen que sigue siendo útil formalizar y medir estas capacidades, especialmente mediante juegos de ficción interactiva (IF) en los que las acciones y el estado del mundo están en lenguaje natural.
• Hay debate sobre qué significa “razonador”; algunos ven el título como retóricamente fuerte sin una definición clara.

¿Las redes neuronales son solo tablas de búsqueda?

• Un largo subhilo sostiene que cualquier red neuronal finita es una función numérica y, por tanto, equivalente a una enorme tabla de búsqueda; por lo tanto, “no piensa”.
• Contraargumentos:
  • El mismo razonamiento convertiría a los humanos y al universo en tablas de búsqueda bajo el determinismo; si eso se acepta, “no pensar” se vuelve una definición poco útil.
  • La equivalencia con una tabla de búsqueda es matemáticamente cierta para cualquier programa finito, pero no captura cómo funcionan la generalización, la compresión y la interpolación.
  • Las redes recurrentes/estatales, la precisión arbitraria y las conexiones con el problema de la parada muestran matices: algunas tablas serían infinitas o incomputables.
• Desacuerdo sobre si la física es fundamentalmente computable; algunos invocan los límites de Bekenstein y la información finita, otros argumentan que los modelos continuos con valores reales resisten la discretización completa.

Humanos vs máquinas: pensamiento, encarnación y conciencia

• Un lado insiste en que los humanos no pueden reducirse a tablas “ni siquiera en teoría” porque la biología, la encarnación y la experiencia subjetiva importan; el software es “solo números”.
• Otros sostienen que los humanos son sistemas mecanicistas de partículas/campos; en principio, todas las entradas/salidas pueden describirse numéricamente, así que rechazar la equivalencia con tablas es incoherente.
• Quienes defienden la cognición encarnada enfatizan el movimiento, los bucles sensoriomotores, la plasticidad y los objetivos en un mundo compartido; los LLM solo comprimen y reproducen texto, sin intenciones ni fundamentación causal del mundo.
• Los opositores afirman que históricamente se hicieron argumentos “místicos” similares contra las mentes mecanicistas, y ven sin motivo que el silicio no pueda acabar soportando mentes o agencia.

Capacidades de razonamiento y límites de los LLM

• Muchos coinciden en que los LLM a menudo fallan en el razonamiento de varios pasos o “multi-hop” a menos que se les den indicaciones de chain-of-thought; los errores se acumulan y aparecen alucinaciones.
• Algunos sostienen que esto muestra que no razonan de verdad, sino que solo recombinan patrones del entrenamiento; se citan Advent of Code y errores sutiles de concurrencia como fallos en problemas no vistos.
• Otros replican que el chain-of-thought es exactamente cómo razonan los humanos, y que la autocritica o los sistemas multiagente ya mejoran la fiabilidad.
• Hay debate sobre si la coincidencia estadística de patrones sobre texto puede producir modelos del mundo genuinos o solo aproximar la distribución del lenguaje.

Los juegos como puntos de referencia para el razonamiento

• El éxito del artículo en juegos IF basados en texto se considera prometedor, porque las reglas y el estado están en lenguaje natural.
• Varios comentaristas proponen pruebas más duras: NetHack, Zork, roguelikes complejos o Diplomacy, donde la planificación, la exploración y la información oculta importan.
• NetHack provoca un largo debate secundario:
  • Algunos afirman que es, en la práctica, imposible de ganar sin “spoilers” (conocimiento externo) debido a sus mecánicas opacas y su fuerte aleatoriedad.
  • Otros señalan jugadores expertos con tasas de victoria altas y sugieren que agentes de RL, con suficientes partidas, podrían inferir mecánicas útiles pese al ruido.
• Una línea de trabajo citada usa LLM para proporcionar recompensas intrínsecas a agentes de RL en NetHack; otro sistema usa una interfaz de texto para archivos, donde GPT‑4 puede retroceder y buscar, pero GPT‑3.5 sufre.

Sistemas simbólicos y enfoques híbridos

• Un proyecto inyecta estructuras computacionales explícitas (cálculo lambda, pilas, colas) en los internos de los LLM para obtener un razonamiento más fiable, similar al de un programa, sobre estados latentes.
• Un campo opuesto apunta a la IA simbólica clásica como Cyc, que usa inferencia lógica explícita y una base de conocimiento manual/derivada, argumentando que “realmente razona” y no alucina.
• Los críticos cuestionan si usar redes neuronales para sintetizar programas merece la pena dados los costes masivos de entrenamiento y el uso de energía, especialmente si el producto final es un programa convencional.
• Los partidarios responden que la síntesis automática de programas aún podría ser más barata y escalable que pagar a humanos, y que las redes neuronales permiten a esos sistemas aprovechar el conocimiento existente de los LLM.

Meta: recursos de aprendizaje y terminología

• Un comentarista pide buenas formas de seguir los avances en LLM; otros sugieren usar la búsqueda del sitio para encontrar contenido introductorio y tutoriales.
• Varios participantes subrayan que el uso impreciso de términos como “información”, “entropía” y “modelo del mundo” entre física, CS y ML causa confusión en estos debates.