Jeff – modelos de decisão compatíveis com Jev de 0,8B, treinados em casa, ~30 ms

Artigo original ↗ Discussão no Hacker News ↗

Pequenos “modelos de decisão” de peso aberto como o Jeff buscam replicar as capacidades de classificação zero-shot do Jev enquanto rodam de forma barata e rápida em hardware local, usando modelos Qwen e Gemma ajustados fino que produzem probabilidades calibradas das opções em uma única passagem. Os comentaristas comparam os pontos fortes do Jeff em velocidade, implantação offline e ajuste fino específico por tarefa com a maior precisão pronta para uso e a vantagem de dados proprietários do Jev, especialmente em benchmarks de raciocínio mais difíceis. Grande parte do debate gira em torno de quando usar esses modelos em vez de classificadores tradicionais ou LLMs completos, com trade-offs em latência, custo, dados de treinamento necessários e a importância da verdadeira generalização zero-shot.

Visão geral dos modelos de decisão Jeff

  • Jeff fornece pequenos modelos de decisão de peso aberto (0,8B e 2B) ajustados a partir de Qwen3.5 e Gemma para classificação zero-shot.
  • Os modelos recebem uma situação mais opções e retornam probabilidades calibradas em uma única passagem, sem geração de texto.
  • Objetivos principais: latência muito baixa (~30 ms para 0,8B no M4 Max), implantação local, API compatível com Jev e fácil ajuste fino posterior.

Desempenho, benchmarks e jogos

  • Em um painel misto de benchmarks, o Jeff 2B se aproxima dos resultados publicados do Jev no geral, mas fica bem atrás em raciocínio multietapas (por exemplo, BBH, camada difícil do JevBench).
  • Em tarefas do tipo classificação (por exemplo, Financial PhraseBank, RAGTruth), o Jeff relata pontuações acima do Jev.
  • Alguns usuários relatam desempenho forte; outros acham o Jeff muito abaixo do Jev (por exemplo, 70% versus 94% de precisão no classificador de vagas de emprego que criaram).
  • Testes com jogos (Doom, Frogger, Pac-Man) são usados como avaliações zero-shot divertidas; o Jeff 0,8B iguala ou supera bots codificados à mão em alguns cenários, mas outros relatam resultados em Doom muito melhores usando pequenos classificadores personalizados.

Zero-shot vs ajuste fino vs ML clássico

  • Há um forte debate sobre o valor de generalistas zero-shot (Jev/Jeff) versus:
    • Modelos pequenos ajustados fino (por exemplo, ModernBERT, Gemma).
    • Pipelines simples: modelo de embeddings + regressão logística / SVM / MLP, ou até bag-of-words + modelos lineares.
  • Vários afirmam que essas configurações clássicas igualam ou superam Jev/Laya em muitos conjuntos de dados padrão de classificação de texto e executam em <1 ms.
  • Contraponto: o zero-shot elimina barreiras de dados, expertise em ML e infraestrutura, permitindo testes rápidos em muitos casos de uso.

Implantação local, custo e posicionamento de produto

  • Muitos apreciam que o Jeff tenha licença Apache, rode localmente e possa ser ajustado fino rapidamente em uma única GPU.
  • Outros argumentam que alugar GPUs ou usar APIs baratas (por exemplo, preços do Jev) é mais prático em escala.
  • Discussão sobre se a necessidade de ajuste fino muda a categoria do produto em relação à promessa do Jev de zero-shot “bom o suficiente”.

Modelos no estilo Jev vs LLMs gerais

  • Alguns argumentam que LLMs padrão com saídas estruturadas, logprobs e decodificação restrita podem substituir o Jev, mas:
    • Modelos no estilo Jev/Jeff são vistos como dramaticamente mais rápidos/baratos para tarefas do tipo classificação.
  • Vários comentários enfatizam que esses são modelos de julgamento “Sistema 1”, não planejadores: ótimos para decisões rápidas, fracos em raciocínio profundo.

Arquitetura, alternativas e preocupações

  • Especulação de que o Jev seja um modelo apenas-encoder ou parecido com BERT, treinado com muitos dados sintéticos; os detalhes não são públicos.
  • Outros projetos semelhantes ao Jev (por exemplo, Laya, pequenos agentes de Doom) são discutidos como alternativas específicas por tarefa e intensivas em ajuste fino.
  • Alguns temem que esses classificadores rápidos sejam ideais para vigilância e armas autônomas, e veem sua otimização e disseminação como preocupantes.