Me cuesta creer que la I+D en IA sea ingeniosa

Crece el escepticismo sobre las afirmaciones de que los grandes modelos de lenguaje puedan realizar investigación y desarrollo verdaderamente ingeniosos y autónomos, en lugar de un sofisticado reconocimiento de patrones sobre trabajo existente. Los comentaristas describen a los LLM como aceleradores potentes para trabajo pesado, andamiaje de código, revisión de literatura e incluso algunas demostraciones matemáticas, pero consistentemente débiles en juicio, diseño a nivel de sistema e ideas genuinamente novedosas sin “arneses” y supervisión humana de gran peso. Otros replican que los modelos internos punteros, el uso de herramientas y los enjambres de agentes ya están superando estos límites en dominios especializados, lo que sugiere que el escalado y un mejor entrenamiento pueden seguir ampliando las capacidades aunque los sistemas actuales a menudo sigan sin ver “el bosque por los árboles”.

Capacidades percibidas frente a limitaciones de los LLM actuales

  • Muchos ven a los LLM como asistentes potentes para trabajo pesado: revisión de literatura, andamiaje de experimentos, diagnósticos, visualización, código y documentación.
  • A menudo se los describe como conocedores pero de “bajo juicio”: buenos para tareas rutinarias, débiles en razonamiento de alto nivel y priorización.
  • Varios señalan que los modelos impresionan a los no expertos pero parecen superficiales o propensos a errores para los expertos del dominio, evocando dinámicas de “amnesia de Gell-Mann”.

Agentes autónomos y arneses

  • Los usuarios reportan malos resultados al dejar a los agentes “a su aire” en problemas abiertos de I+D.
  • Los sistemas eficaces dependen de arneses elaborados: DAGs de muchos subagentes especializados, tareas cuidadosamente escalonadas y una supervisión humana estrecha.
  • Los enjambres de agentes pueden explorar muchas ideas en paralelo, pero muestran rendimientos decrecientes y requieren una cantidad significativa de cómputo e ingeniería.

Creatividad, novedad y el debate del “loro estocástico”

  • Una postura sostiene que los LLM solo rehacen texto existente, produciendo salidas insípidas y promedio, y fallando en la “creatividad pura”.
  • Otros replican que la mayor parte de la creatividad humana también es recombinación; los modelos aún pueden generar ideas novedosas para los humanos (p. ej., chistes, nombres, trucos de investigación).
  • Varios señalan que lo “nuevo” suele surgir cuando los humanos constriñen cuidadosamente el estilo, el contexto o los mapeos entre dominios.

Avances en matemáticas y búsqueda de demostraciones

  • Las recientes demostraciones asistidas por LLM (p. ej., grandes resultados en teoría de números y complejidad) son un punto central de controversia.
  • Los partidarios dicen que esto muestra una resolución genuina de problemas de alto nivel, no una fuerza bruta ingenua; lo comparan con miles de matemáticos de nivel doctorado explorando ideas.
  • Los escépticos citan el uso intensivo de herramientas (Lean, bucles de búsqueda), enormes recursos de cómputo, bajas tasas de éxito por intento y demostraciones poco elegantes u opacas. Algunos temen progreso sin comprensión.

Experiencia, contexto y juicio

  • Los comentaristas destacan fallos al seguir el estado del sistema, lógica básica, estética del diseño y “visión” a nivel de arquitectura.
  • Los LLM sobresalen cuando las tareas están bien planteadas, son verificables objetivamente y están ricamente representadas en los datos de entrenamiento (p. ej., programación estándar, algo de ML, algo de matemáticas).
  • Tienen dificultades con objetivos difusos, compensaciones sutiles o tareas en las que “no perder el bosque por mirar los árboles” carece de una señal de entrenamiento clara.

Escalado, modelos internos y trayectoria futura

  • Algunos creen que los modelos internos de los laboratorios punteros están muy por delante y ya permiten I+D autónoma rápida; otros ven esas afirmaciones como PR no verificada.
  • Hay desacuerdo sobre si estamos cerca de un techo (rendimientos decrecientes del escalado, brechas cualitativas persistentes) o aún al principio de una fase exponencial.
  • Varios enmarcan el progreso como una “lección amarga”: la búsqueda a gran escala y el aprendizaje por refuerzo podrían importar más que la ingeniosidad humana en la I+D de IA, incluso si los propios modelos siguen sin ser ingeniosos.