¿Qué piensa Alan Kay sobre los LLMs?
Postura general sobre los LLMs y la “confiabilidad”
- Preocupación central: los LLMs no son “confiables” para ejecutar comandos o enseñar, porque no razonan; solo correlacionan y generan texto plausible.
- La confianza está ligada a la auditabilidad: la gente quiere cadenas de razonamiento verificables, rutas de decisión explicables y resultados reproducibles.
- Los LLMs actuales no pueden mostrar cómo derivaron una respuesta más allá de atribuciones vagas de tokens, así que se los considera inadecuados para tareas críticas.
Paso de mensajes, enlace tardío y diseño de sistemas
- Un subhilo grande revisita ideas clásicas: verdadero paso de mensajes, enlace tardío y sistemas vivos basados en imágenes (por ejemplo, entornos al estilo de Smalltalk).
- Debate sobre si los sistemas modernos (HTTP, microservicios, navegadores) encarnan bien estas ideas o son “bastardizaciones”.
- Algunos sostienen que el paso de mensajes mejora significativamente la seguridad y la escalabilidad; otros señalan el desorden de los microservicios y la necesidad de un tipado más fuerte.
- Hay desacuerdo sobre si las orientaciones de Alan son demasiado vagas o si en realidad son bastante concretas cuando se observan sus sistemas y programas de investigación.
LLMs en programación y educación
- Usuarios avanzados informan que los LLMs son muy útiles pero con frecuencia erróneos, especialmente en lenguajes menos populares o bibliotecas de nicho.
- Los errores “obvios” (APIs inventadas) son fáciles de detectar para expertos; los sutiles (patrones obsoletos, inseguros o ineficientes) son peligrosos para quienes aprenden.
- Preocupa que los estudiantes “hagan trampa” en los planes de estudio de CS con LLMs, dejando aún más en evidencia lo anticuada que ya está parte de la enseñanza.
- A algunos les gusta que la programación tradicional sea literal y depurable; temen que capas opacas de IA socaven esa transparencia.
Epistemología: correlación, superstición y BS
- Tema fuerte: los LLMs ejemplifican el “razonamiento por correlación”, comparado con la superstición y la generación de BS, especialmente cuando racionalizan con fluidez respuestas equivocadas.
- Contraargumento: el empirismo basado en correlaciones aún puede ser comprobable y útil; la superstición surge cuando la gente malinterpreta o sobreinterpreta correlaciones.
- Varios comentarios señalan que los humanos también son poco fiables, sesgados y propensos al BS, así que las comparaciones deben hacerse frente a expertos humanos reales, no a un ideal.
Preocupaciones sociales y económicas
- Temor de que los LLMs se usen para “extraer” de la sociedad de forma más eficiente, aumentando la extracción, la vigilancia y la manipulación a gran escala.
- Otros argumentan que esta dinámica precede a los LLMs y aplica a la mayoría de las grandes tecnologías; los LLMs son solo una nueva palanca.
- Miedo adicional: un internet futuro inundado de disparate semi-plausible, erosionando la confianza en la información digital e incluso posiblemente las normas de alfabetización.