Nueva teoría sugiere que los LLM pueden entender texto
Un nuevo marco teórico que afirma que los modelos de lenguaje grandes pueden “entender” texto ha reavivado debates de larga data sobre qué significan realmente el entendimiento y la inteligencia en la IA. Quienes comentan sopesan la evidencia de que los modelos construyen modelos implícitos del mundo y pueden combinar con flexibilidad “habilidades” abstractas de formas poco probables de haber sido memorizadas a partir de los datos de entrenamiento, frente a críticas que sostienen que siguen siendo solo potentes detectores de patrones que remezclan contenido escrito por humanos sin anclaje ni autoconciencia. El intercambio pone de relieve tensiones más profundas sobre la emergencia, el excepcionalismo humano y si el comportamiento funcional por sí solo basta para atribuir conceptos como razonamiento o comprensión a los sistemas de IA actuales y futuros.
Enlaces y contexto
- Quienes comentan aportan enlaces que faltaban a los artículos centrales y a unos pocos artículos críticos que sostienen que los LLM no entienden.
- La pieza de Quanta se considera un resumen accesible; el debate se centra en lo que la teoría realmente demuestra.
¿Qué significa “entender”?
- Muchos sostienen que no existe una definición rigurosa y consensuada; cualquier afirmación de que “los LLM entienden” depende de una operacionalización elegida.
- Algunos dicen que el “rendimiento a nivel humano” es un proxy práctico, pero otros responden que los humanos varían mucho y que nuestra propia cognición es difícil de cuantificar.
- Unos pocos sugieren que el entendimiento es gradual, no binario, y que está ligado al rendimiento en la tarea más que a una esencia interna.
Modelos del mundo, compresión y emergencia
- Una corriente argumenta que, bajo principios de teoría de la información y compresión, los predictores del siguiente token deben codificar implícitamente un modelo del mundo.
- Otros aceptan que existe algún modelo del mundo, pero enfatizan su calidad desconocida y su base en gran medida textual.
- Se invoca la emergencia: el comportamiento complejo puede surgir de una simple predicción de la siguiente palabra, del mismo modo que las mentes surgen de neuronas.
Evidencia desde el comportamiento y el modelo de habilidades del artículo
- Se resume el marco de “grafo de habilidades” / “mezcla de habilidades”: los textos requieren combinaciones de habilidades abstractas; los modelos más grandes tienen éxito en más de esos nodos.
- La capacidad de GPT-4 para mezclar múltiples estilos de razonamiento (por ejemplo, metáfora, física, sesgo) en temas novedosos se cita como evidencia de que es más que un “loro estocástico”.
- Algunos ven esto como una forma rigurosa de mostrar una capacidad composicional y generalizable; otros dicen que aun así no resuelve la cuestión del entendimiento.
Visiones escépticas: repetición mecánica, datos y anclaje
- Una línea fuerte de crítica: la inteligencia reside en el corpus de entrenamiento curado; los LLM lo comprimen y lo reproducen sin conciencia, metas ni un “por qué”.
- Las preocupaciones incluyen: falta de autoconocimiento explícito (“¿qué sabes?”), ausencia de un verdadero bucle de retroalimentación con estado, ninguna opción de permanecer en silencio, falta de sentido del tiempo y ausencia de anclaje físico.
- Se trazan analogías con un libro para colorear, un trabajador de textos de la biblioteca tailandesa, una brújula o un reloj: comportamiento sofisticado sin comprensión.
Comparaciones con la cognición humana
- Algunos señalan que los humanos también operan en parte como predictores estadísticos de la siguiente palabra, y a menudo hablan sin una comprensión reflexiva completa.
- Otros subrayan diferencias: experiencia encarnada, entrada multimodal rica y posibles arquitecturas futuras (multimodales, continuas, encarnadas) que podrían reducir la brecha.
Nivel meta e implicaciones sociales
- Varios califican los argumentos actuales de “basados en la fe” en ambos bandos; quieren más pruebas empíricas y teorías.
- Otros ven el debate como académico: la gente se relacionará con compañeros de IA como si entendieran, independientemente de la resolución filosófica.
- Las opiniones divergen marcadamente entre “histeria sobre la IA” y “trayectoria clara hacia capacidades superhumanas y generales”.