¿Qué piensa Alan Kay sobre los LLMs?
El escepticismo sobre los modelos de lenguaje de gran tamaño atraviesa este intercambio, centrado en su tendencia a generar con seguridad resultados plausibles pero no verificables o incorrectos y en la consiguiente falta de “confiabilidad” para cualquier cosa más allá de una ayuda de bajo riesgo. Los comentaristas vinculan las ideas de larga data de Alan Kay —paso de mensajes, enlace tardío, sistemas que sean inspectables y explicables— con críticas a modelos opacos, impulsados por correlaciones, cuyos mecanismos internos y datos de entrenamiento no son transparentes ni auditables. Otros contraargumentan que, pese a peligros reales como la desinformación a escala y el “despojo” de la sociedad, los LLMs ya superan a las herramientas tradicionales en áreas como la generación de código y el análisis de intenciones, y que su verdadero potencial está en sistemas híbridos cuidadosamente diseñados más que como agentes autónomos de preguntas y respuestas o de enseñanza.
Postura general sobre los LLMs y la “confiabilidad”
- Preocupación central: los LLMs no son “confiables” para ejecutar comandos o enseñar, porque no razonan; solo correlacionan y generan texto plausible.
- La confianza está ligada a la auditabilidad: la gente quiere cadenas de razonamiento verificables, rutas de decisión explicables y resultados reproducibles.
- Los LLMs actuales no pueden mostrar cómo derivaron una respuesta más allá de atribuciones vagas de tokens, así que se los considera inadecuados para tareas críticas.
Paso de mensajes, enlace tardío y diseño de sistemas
- Un subhilo grande revisita ideas clásicas: verdadero paso de mensajes, enlace tardío y sistemas vivos basados en imágenes (por ejemplo, entornos al estilo de Smalltalk).
- Debate sobre si los sistemas modernos (HTTP, microservicios, navegadores) encarnan bien estas ideas o son “bastardizaciones”.
- Algunos sostienen que el paso de mensajes mejora significativamente la seguridad y la escalabilidad; otros señalan el desorden de los microservicios y la necesidad de un tipado más fuerte.
- Hay desacuerdo sobre si las orientaciones de Alan son demasiado vagas o si en realidad son bastante concretas cuando se observan sus sistemas y programas de investigación.
LLMs en programación y educación
- Usuarios avanzados informan que los LLMs son muy útiles pero con frecuencia erróneos, especialmente en lenguajes menos populares o bibliotecas de nicho.
- Los errores “obvios” (APIs inventadas) son fáciles de detectar para expertos; los sutiles (patrones obsoletos, inseguros o ineficientes) son peligrosos para quienes aprenden.
- Preocupa que los estudiantes “hagan trampa” en los planes de estudio de CS con LLMs, dejando aún más en evidencia lo anticuada que ya está parte de la enseñanza.
- A algunos les gusta que la programación tradicional sea literal y depurable; temen que capas opacas de IA socaven esa transparencia.
Epistemología: correlación, superstición y BS
- Tema fuerte: los LLMs ejemplifican el “razonamiento por correlación”, comparado con la superstición y la generación de BS, especialmente cuando racionalizan con fluidez respuestas equivocadas.
- Contraargumento: el empirismo basado en correlaciones aún puede ser comprobable y útil; la superstición surge cuando la gente malinterpreta o sobreinterpreta correlaciones.
- Varios comentarios señalan que los humanos también son poco fiables, sesgados y propensos al BS, así que las comparaciones deben hacerse frente a expertos humanos reales, no a un ideal.
Preocupaciones sociales y económicas
- Temor de que los LLMs se usen para “extraer” de la sociedad de forma más eficiente, aumentando la extracción, la vigilancia y la manipulación a gran escala.
- Otros argumentan que esta dinámica precede a los LLMs y aplica a la mayoría de las grandes tecnologías; los LLMs son solo una nueva palanca.
- Miedo adicional: un internet futuro inundado de disparate semi-plausible, erosionando la confianza en la información digital e incluso posiblemente las normas de alfabetización.