Las habilidades “emergentes” en los LLM en realidad se desarrollan de forma gradual y predecible – estudio
Significado de “emergente”
- Fuerte desacuerdo sobre lo que significa “emergente”.
- En ML, un artículo influyente define las capacidades emergentes como comportamientos ausentes en modelos pequeños pero que aparecen de forma repentina en los más grandes, no predecibles extrapolando los modelos más pequeños.
- Otros sostienen que esto es un uso erróneo de un término científico/filosófico más amplio en el que la emergencia trata de propiedades de nivel superior que surgen de partes más simples, no necesariamente de saltos repentinos.
- Varios comentarios destacan la polisemia: las palabras legítimamente significan cosas diferentes en distintos dominios, pero eso también crea confusión y argumentos mal planteados.
Medición y métricas
- La afirmación central del estudio discutido: muchas supuestas “capacidades emergentes” desaparecen al usar métricas más suaves (p. ej., crédito parcial, distancia de edición) en lugar de un pase/fallo binario.
- Los participantes señalan que cualquier métrica con umbral (p. ej., “todos los elementos de prueba correctos”) producirá naturalmente aparentes cambios de fase.
- Algunos están de acuerdo en que las métricas continuas son mejores para entender la mejora gradual y extrapolar el progreso.
- Otros advierten que el crédito parcial puede ser un mal sustituto cuando las tareas exigen exactitud (p. ej., aritmética en aplicaciones reales).
La aritmética como prueba de razonamiento
- Un bando califica la aritmética de mal benchmark o “inútil”, ya que los buenos LLM a menudo tienen éxito escribiendo y ejecutando código en lugar de hacer matemáticas internamente.
- Otro bando defiende la aritmética como una tarea estructurada canónica y un proxy para aprender reglas formales; si los modelos realmente internalizaran la aritmética, eso indicaría un razonamiento general sólido.
- Se dan ejemplos en los que los LLM fallan en inversiones básicas, ordenación y razonamiento temporal, salvo que recurran a herramientas externas o a una indicación muy cuidadosa, visto como evidencia de capacidad algorítmica limitada y falta de estado interno.
Capacidades, límites y arquitectura
- Debate sobre si las habilidades sorprendentes de los LLM son realmente “impredecibles” o simplemente reflejan nuestra pobre comprensión de la dinámica del entrenamiento.
- Algunos argumentan que el escalado inevitablemente aporta más capacidades; otros subrayan que la arquitectura, los datos y la optimización también importan, así que las afirmaciones sobre “emergencia” son prematuras.
- Algunos describen a los LLM como “motores de plausibilidad”. Hay desacuerdo sobre si eso limita inherentemente su inteligencia o si se asemeja a la dependencia humana de la plausibilidad, mitigada por herramientas como el método científico.
Pronóstico del progreso y exageración
- Muchos ven valor en el estudio: unas métricas más suaves sugieren que las capacidades crecen de forma más continua, lo que permite predecir mejor cuándo un modelo cruzará un umbral de utilidad.
- Algunos temen que la narrativa anterior de “emergencia repentina” alimentara la exageración y pudiera contribuir a una burbuja de IA; este trabajo se ve como una corrección.
- Otros señalan que incluso con métricas revisadas, algunas tareas todavía parecen emergentes, y aconsejan no sobreinterpretar un solo artículo.