Construí hace un año modelos de decisión no autorregresivos con RL
Un proyecto de código abierto llamado Laya afirma replicar la idea central detrás de Jev, un modelo de decisión propietario muy promocionado de “System 1” usado para tareas rápidas y estructuradas de clasificación que no necesitan LLM generativos completos. Los comentaristas debaten cuán similar es realmente Laya a Jev, señalando diferencias importantes en tamaño del modelo, ventana de contexto, capacidad zero-shot y la necesidad de fine-tuning, aunque coinciden en general en que los clasificadores no autorregresivos al estilo BERT no son un avance de investigación nuevo. El intercambio se amplía hacia una crítica del hype de IA, la importancia del branding y la distribución por encima de la investigación pura, y un renovado interés en usar modelos más pequeños y especializados en lugar de LLM grandes y costosos para tareas rutinarias de decisión.
Relación entre Laya, Jev y trabajos previos
- Laya se presenta como un “modelo de decisión” de código abierto y no autorregresivo, inspirado en la misma idea general que Jev: salidas estructuradas y tipadas, y probabilidades calibradas para clasificación/ruteo.
- Varios comentaristas señalan que ideas similares existían antes que ambos, por ejemplo, clasificadores al estilo BERT, GLiNER/GLiNER2, clasificadores tabulares o “universales”, y puntuación de opciones múltiples al estilo MMLU mediante logits.
- Debate sobre si Jev “copió” algo: algunos ven una reinvención probablemente independiente sobre una base de arte previo de larga data; otros creen que Jev debería reconocer más trabajos previos, incluida la publicación precursora abierta de Laya.
Características técnicas y limitaciones
- Laya usa backbones al estilo ModernBERT (~400M de parámetros) con ventanas de contexto relativamente pequeñas (512–1024 tokens para los checkpoints, aunque ModernBERT base soporta 8k). Jev se promociona con ~32k–64k de contexto.
- El artículo de Laya y la tarjeta de HF enfatizan el aprendizaje por refuerzo con recompensas de reglas de puntuación adecuadas para producir probabilidades calibradas.
- Laya actualmente necesita fine-tuning para rendir bien en el benchmark “typed-decisions”; las puntuaciones zero-shot están cerca del azar (~0.35) frente a ~0.77 después del fine-tuning.
- Jev y modelos similares son no autorregresivos, clasificadores paralelos, a veces comparados con enfoques tipo difusión; algunas implementaciones abiertas de “openjev” emulan el truco general.
Zero-shot frente a fine-tuned y comparaciones de calidad
- Varios comentaristas destacan una distinción clave: Jev aspira a ser un clasificador generalista fuerte en zero-shot; Laya se ve mejor como una base rápida para especializar mediante fine-tuning.
- Algunos usuarios informan que Jev supera ampliamente a los LLM y a Laya en tareas reales (p. ej., categorización de inventario, clasificación de tickets de soporte), con grandes mejoras de coste y latencia.
- Al menos una persona informa que Jev obtiene ~95% frente a ~48% de Laya en un conjunto de datos etiquetado de soporte.
- Otros prueban Laya en tareas probabilísticas simples (caras o cruces, tiradas de dados) y encuentran que sus probabilidades son absurdas, lo que plantea dudas sobre la calibración y la comprensión del razonamiento numérico.
Casos de uso y consideraciones prácticas
- Tareas objetivo comunes: ruteo, clasificación, moderación, sentimiento, triaje de tickets, etiquetado de inventario, categorización de logs/errores, políticas de decisión en agentes.
- Varias personas subrayan que muchas cargas de trabajo basadas en LLM podrían ser más baratas y rápidas con este tipo de clasificadores, especialmente a escala.
- Los modelos pequeños (~400M) se consideran viables en CPUs y hardware de consumo; algunos están construyendo servidores compatibles con Jev, variantes de visión y sugieren complementos para hojas de cálculo.
Alucinaciones, “System 1” y afirmaciones de seguridad
- Jev promociona “no puede alucinar” y el encuadre de “System 1”. Los críticos argumentan que sigue pudiendo equivocarse; simplemente está restringido a un esquema y no es generativo.
- Algunos ven beneficios reales de seguridad en salidas siempre estructuradas y validación de esquemas (menor superficie de prompt injection), pero señalan que el modelo aún puede clasificar mal.
Marketing, hype y reconocimiento
- Tema fuerte: tecnología frente a branding. Muchos sostienen que el éxito de Jev se debe a un mensaje claro (“modelo System One”, API simple, buena experiencia de desarrollo) y a la distribución impulsada por VC, no solo a matemáticas novedosas.
- Otros ven al autor de Laya como infrarrepresentado porque el trabajo solo estuvo en arXiv/HF/Reddit, con un encuadre académico/sanitario en lugar de herramientas productizadas.
- También hay escepticismo: algunos consideran que el artículo original de Laya tiene baja calidad académica, señalan problemas como filtraciones en código antiguo y describen la publicación en HN y el discurso alrededor como excesivos o “vibe-coded”.
- Varios concluyen que el arte previo es denso, que el redescubrimiento independiente es común en ML, y que la ejecución, el empaquetado y el soporte/herramientas continuos importan más que ser el primero.