Jeff – modelos de decisión compatibles con Jev de 0,8B, entrenados en casa, ~30 ms

Artículo original ↗ Discusión en Hacker News ↗

Modelos de decisión de peso abierto y pequeños como Jeff buscan replicar las capacidades de clasificación zero-shot de Jev mientras funcionan de forma barata y rápida en hardware local, usando modelos Qwen y Gemma afinados que devuelven probabilidades calibradas de opciones en una sola pasada. Los comentaristas comparan las fortalezas de Jeff en velocidad, despliegue sin conexión y fine-tuning específico de tareas frente a la mayor precisión lista para usar de Jev y su ventaja de datos propietarios, especialmente en benchmarks de razonamiento más difíciles. Gran parte del debate gira en torno a cuándo usar estos modelos frente a clasificadores tradicionales o LLMs completos, con compensaciones en latencia, coste, datos de entrenamiento necesarios y la importancia de una verdadera generalización zero-shot.

Resumen de los modelos de decisión Jeff

  • Jeff ofrece pequeños modelos de decisión de peso abierto (0,8B y 2B) afinados a partir de Qwen3.5 y Gemma para clasificación zero-shot.
  • Los modelos toman una situación más opciones y devuelven probabilidades calibradas en una sola pasada, sin generación de texto.
  • Objetivos clave: latencia muy baja (~30 ms para 0,8B en M4 Max), despliegue local, API compatible con Jev y fácil afinación adicional.

Rendimiento, benchmarks y juegos

  • En un panel mixto de benchmarks, Jeff 2B se aproxima en conjunto a las puntuaciones publicadas de Jev, pero queda muy por detrás en razonamiento de varios pasos (por ejemplo, BBH, nivel difícil de JevBench).
  • Para tareas de estilo clasificación (por ejemplo, Financial PhraseBank, RAGTruth), Jeff informa puntuaciones superiores a Jev.
  • Algunos usuarios reportan un gran rendimiento; otros encuentran Jeff muy por debajo de Jev (por ejemplo, 70% frente a 94% de precisión en su propio clasificador de ofertas de empleo).
  • Las pruebas con juegos (Doom, Frogger, Pac-Man) se usan como evaluaciones zero-shot divertidas; Jeff 0,8B iguala o supera a bots codificados a mano en algunos escenarios, pero otros comparten resultados mucho mejores en Doom usando pequeños clasificadores hechos a medida.

Zero‑shot frente a fine‑tuning frente a ML clásico

  • Hay un fuerte debate sobre el valor de los generalistas zero-shot (Jev/Jeff) frente a:
    • Modelos pequeños afinados (por ejemplo, ModernBERT, Gemma).
    • Pipelines simples: modelo de embeddings + regresión logística / SVM / MLP, o incluso bolsa de palabras + modelos lineales.
  • Varios afirman que estas configuraciones clásicas igualan o superan a Jev/Laya en muchos conjuntos de datos estándar de clasificación de texto y funcionan en <1 ms.
  • Contraargumento: el zero-shot elimina barreras de datos, experiencia en ML e infraestructura, permitiendo pruebas rápidas en muchos casos de uso.

Despliegue local, coste y posicionamiento del producto

  • A muchos les gusta que Jeff tenga licencia Apache, funcione localmente y pueda afinarse rápidamente en una sola GPU.
  • Otros sostienen que alquilar GPUs o usar APIs baratas (por ejemplo, precios de Jev) es más práctico a escala.
  • Debate sobre si necesitar fine-tuning cambia la categoría del producto frente a la promesa de Jev de un zero-shot “suficientemente bueno”.

Modelos al estilo Jev frente a LLMs generales

  • Algunos argumentan que los LLMs estándar con salidas estructuradas, logprobs y decodificación restringida pueden sustituir a Jev, pero:
    • Los modelos al estilo Jev/Jeff se perciben como drásticamente más rápidos y baratos para tareas de tipo clasificación.
  • Varios comentarios subrayan que estos son modelos de juicio de “Sistema 1”, no planificadores: excelentes para decisiones rápidas, débiles en razonamiento profundo.

Arquitectura, alternativas y preocupaciones

  • Se especula que Jev es un modelo solo-encoder o tipo BERT, entrenado con muchos datos sintéticos; los detalles no son públicos.
  • Se comentan otros proyectos parecidos a Jev (por ejemplo, Laya, pequeños agentes de Doom) como alternativas específicas de tarea y muy dependientes del fine-tuning.
  • A algunos les preocupa que estos clasificadores rápidos sean ideales para la vigilancia y las armas autónomas, y ven su optimización y expansión como algo inquietante.