Chomsky y las dos culturas del aprendizaje estadístico (2011)

El aprendizaje automático estadístico y la lingüística basada en reglas chocan en un debate de larga data sobre cuál es la mejor manera de modelar y entender el lenguaje. Los comentaristas contraponen sistemas probabilísticos y basados en datos, como los modernos modelos de lenguaje grandes, con teorías que postulan una rica estructura gramatical innata, discutiendo qué cuenta como explicación científica frente a mera ingeniería. El intercambio destaca cuestiones abiertas sobre cómo adquieren realmente el lenguaje los humanos, si la IA actual ofrece un modelo cognitivo significativo y hasta dónde pueden llegar los métodos probabilísticos para capturar los aspectos “creativos” del uso del lenguaje.

Modelos probabilísticos y “simplicidad”

  • Varios comentaristas cuestionan la afirmación de que los modelos probabilísticos sean la forma “más simple” de manejar la incertidumbre.
  • Objeciones: requieren grandes cálculos y vastos conjuntos de datos; a menudo funcionan como cajas negras que no “modelan” mecanismos, sino solo correlaciones.
  • Otros sostienen que “simple” significa naturalmente conceptual para fenómenos intrínsecamente estocásticos (por ejemplo, la percepción ruidosa), aunque sean costosos desde el punto de vista computacional.

Otras formas de representar la incertidumbre

  • Alternativas mencionadas: modelos deterministas con variables desconocidas, lógica ternaria (verdadero/falso/desconocido), lógica difusa, retroceso/búsqueda en haz con heurísticas.
  • Algunos consideran que estas opciones son o bien más burdas o “probabilidades disfrazadas” (por ejemplo, “desconocido” ≈ algún intervalo entre 0 y 1).
  • En dominios aplicados como el tiempo atmosférico, la previsión probabilística por conjuntos se describe como el único enfoque práctico conocido hasta ahora.

Ingeniería vs. ciencia y qué explican los modelos

  • Un bando: la ingeniería exitosa con métodos probabilísticos/estadísticos es evidencia de que los sistemas subyacentes son al menos en parte estadísticos.
  • Vista opuesta: la tecnología que funciona no explica automáticamente los fenómenos naturales (aviones vs. pájaros, LLMs vs. humanos); puede solo aproximar el comportamiento.
  • Hay debate sobre si los modelos de lenguaje actuales son buenos modelos científicos de la cognición humana o solo herramientas potentes.

LLMs, aprendizaje del lenguaje e innatismo

  • Algunos sostienen que los LLMs muestran que el lenguaje puede aprenderse de novo mediante la exposición y que la inteligencia quizá sea menos misteriosa de lo que se supone.
  • Los críticos responden: los modelos necesitan muchos órdenes de magnitud más texto y cómputo que los niños; los aprendices humanos tienen una entrada multimodal rica y fuertes sesgos innatos moldeados por la evolución.
  • Persisten las discrepancias sobre si la gramática se basa en reglas categóricas incorporadas más algunas estadísticas, o si es fundamentalmente estadística con priors innatos.

Estado de la lingüística formal y de las teorías basadas en reglas

  • Varios comentarios dicen que los marcos generativos clásicos fueron científicamente influyentes, pero malos para tareas de ingeniería, y que ahora están en declive en la lingüística central.
  • Otros los defienden por haber generado un conocimiento empírico sustancial de la sintaxis, aunque sus teorías de más alto nivel ya no sean ampliamente creídas.
  • Algunos critican que los teóricos tradicionales desprecien los métodos probabilísticos o estadísticos por dogmáticos y obstaculizadores.