“Predictor del siguiente token” es el modelo mental equivocado para los LLM
Que los modelos de lenguaje grandes sean “solo predictores del siguiente token” es algo discutido por personas que sostienen que esta frase es a la vez técnicamente correcta y profundamente engañosa. Los comentaristas señalan que los transformers se entrenan para predecir el siguiente token en el texto, pero técnicas de posentrenamiento como el aprendizaje por refuerzo, el uso de herramientas y los marcos agénticos convierten ese mecanismo básico en un sistema orientado a metas cuyo comportamiento no puede entenderse solo como copia de datos de entrenamiento. Otros replican que enfatizar cualquier cosa más allá de la predicción del siguiente token corre el riesgo de inflar las capacidades de los LLM, y que reconocer su naturaleza probabilística y mecánica es esencial para juzgar tanto sus límites como sus riesgos potenciales.
Precisión de la etiqueta “predictor del siguiente token”
- Muchos sostienen que los LLM son literalmente modelos de probabilidad del siguiente token: toman una secuencia de tokens y devuelven una distribución sobre el siguiente token.
- Otros dicen que esto es técnicamente cierto, pero engañosamente reductivo, parecido a llamar a un ser humano “un saco de sustancias químicas” o a un jet “solo una máquina giratoria”.
- Algunos ven “predictor del siguiente token” y “loro estocástico” como lemas usados para desestimar las capacidades y riesgos de los LLM.
Preentrenamiento vs RLHF/RLVR y posentrenamiento
- Varios comentaristas distinguen con claridad entre:
- Preentrenamiento: predicción supervisada clásica del siguiente token contra texto de referencia.
- Posentrenamiento con RLHF/RLVR: no hay un “siguiente token correcto”; en su lugar, secuencias completas se puntúan mediante modelos de recompensa, y los parámetros se actualizan para aumentar la recompensa.
- Una postura: tras un fuerte RL, el modelo se ve mejor como una política o un “sistema orientado a metas / guiado por resultados”, no como un puro predictor del siguiente token.
- La postura opuesta: pese a los objetivos cambiados, la arquitectura y la interfaz siguen reduciéndose a distribuciones del siguiente token, así que la etiqueta sigue siendo apropiada.
Predicción vs decisión / optimización
- Disputa sobre la palabra “predecir”: algunos insisten en que predecir requiere comprobarse contra una verdad externa; RL, en cambio, es optimización sobre recompensa.
- Otros argumentan que elegir el token que maximiza la recompensa esperada sigue siendo una forma de predicción (de resultados o recompensas), solo que con un objetivo distinto.
- Las analogías con el ajedrez se debaten mucho: ¿un motor “predice la siguiente jugada” o “elige una jugada que gana”?
Capacidades, límites y emergencia
- Un lado: la escala de la predicción del siguiente token + la compresión de patrones de texto producen de manera natural capacidades generales, incluido un comportamiento parecido al razonamiento.
- El otro lado: los modelos siguen fallando a menudo, no pueden programar o razonar con fiabilidad, y no “entienden” la corrección; optimizan patrones, no verdad.
- Se señalan propiedades emergentes, pero algunos advierten que eso no implica capacidades ilimitadas ni parecidas a AGI.
Modelos mentales alternativos
- Las metáforas propuestas incluyen: “predictor del siguiente embedding / significado”, “comparador de patrones”, “política”, “guiador de resultados”, “dados informados”, “sistema agente construido alrededor de un predictor”.
- Tendencia de consenso: múltiples abstracciones son útiles; “predictor del siguiente token” es válido pero incompleto, especialmente para los sistemas modernos con comportamiento agente y afinados con RL.
Meta: política, hype y estilo de escritura
- Algunos ven los intentos de ir más allá de “predictor del siguiente token” como hype para inflar el estatus de la IA; otros ven la trivialización como una forma de evitar enfrentarse a los riesgos.
- Varios comentaristas se quejan de que el artículo suena como prosa “estilo IA” y debaten si la escritura asistida por IA socava la credibilidad.