Las habilidades “emergentes” en los LLM en realidad se desarrollan de forma gradual y predecible – estudio
Las afirmaciones de que los modelos de lenguaje grandes ganan de repente habilidades “emergentes” a ciertas escalas se cuestionan con un nuevo trabajo que sugiere que estas capacidades mejoran gradualmente cuando se miden con métricas más detalladas. Los comentaristas debaten qué debería significar “emergencia” en IA, si tareas como la aritmética son buenos proxies del razonamiento y cómo la tokenización y la arquitectura limitan la capacidad de los modelos para realizar algoritmos exactos. El intercambio destaca cómo las elecciones de evaluación moldean las percepciones del progreso de la IA y qué implica eso para las expectativas sobre capacidades futuras y la AGI.
Significado de “emergente”
- Fuerte desacuerdo sobre lo que significa “emergente”.
- En ML, un artículo influyente define las capacidades emergentes como comportamientos ausentes en modelos pequeños pero que aparecen de forma repentina en los más grandes, no predecibles extrapolando los modelos más pequeños.
- Otros sostienen que esto es un uso erróneo de un término científico/filosófico más amplio en el que la emergencia trata de propiedades de nivel superior que surgen de partes más simples, no necesariamente de saltos repentinos.
- Varios comentarios destacan la polisemia: las palabras legítimamente significan cosas diferentes en distintos dominios, pero eso también crea confusión y argumentos mal planteados.
Medición y métricas
- La afirmación central del estudio discutido: muchas supuestas “capacidades emergentes” desaparecen al usar métricas más suaves (p. ej., crédito parcial, distancia de edición) en lugar de un pase/fallo binario.
- Los participantes señalan que cualquier métrica con umbral (p. ej., “todos los elementos de prueba correctos”) producirá naturalmente aparentes cambios de fase.
- Algunos están de acuerdo en que las métricas continuas son mejores para entender la mejora gradual y extrapolar el progreso.
- Otros advierten que el crédito parcial puede ser un mal sustituto cuando las tareas exigen exactitud (p. ej., aritmética en aplicaciones reales).
La aritmética como prueba de razonamiento
- Un bando califica la aritmética de mal benchmark o “inútil”, ya que los buenos LLM a menudo tienen éxito escribiendo y ejecutando código en lugar de hacer matemáticas internamente.
- Otro bando defiende la aritmética como una tarea estructurada canónica y un proxy para aprender reglas formales; si los modelos realmente internalizaran la aritmética, eso indicaría un razonamiento general sólido.
- Se dan ejemplos en los que los LLM fallan en inversiones básicas, ordenación y razonamiento temporal, salvo que recurran a herramientas externas o a una indicación muy cuidadosa, visto como evidencia de capacidad algorítmica limitada y falta de estado interno.
Capacidades, límites y arquitectura
- Debate sobre si las habilidades sorprendentes de los LLM son realmente “impredecibles” o simplemente reflejan nuestra pobre comprensión de la dinámica del entrenamiento.
- Algunos argumentan que el escalado inevitablemente aporta más capacidades; otros subrayan que la arquitectura, los datos y la optimización también importan, así que las afirmaciones sobre “emergencia” son prematuras.
- Algunos describen a los LLM como “motores de plausibilidad”. Hay desacuerdo sobre si eso limita inherentemente su inteligencia o si se asemeja a la dependencia humana de la plausibilidad, mitigada por herramientas como el método científico.
Pronóstico del progreso y exageración
- Muchos ven valor en el estudio: unas métricas más suaves sugieren que las capacidades crecen de forma más continua, lo que permite predecir mejor cuándo un modelo cruzará un umbral de utilidad.
- Algunos temen que la narrativa anterior de “emergencia repentina” alimentara la exageración y pudiera contribuir a una burbuja de IA; este trabajo se ve como una corrección.
- Otros señalan que incluso con métricas revisadas, algunas tareas todavía parecen emergentes, y aconsejan no sobreinterpretar un solo artículo.