Clef: Modelos de decisão com pesos abertos e nova plataforma de fine-tuning por RL

Artigo original ↗ Discussão no Hacker News ↗

O novo “modelo de decisão” Clef da Cloudflare — um classificador com pesos abertos baseado em Qwen, capaz de pontuar escolhas estruturadas e imagens — está gerando comparações com o Jev da Typesafe e uma onda de clones no estilo Jev. Os comentadores observam que a ideia subjacente de usar LLMs ou modelos menores como classificadores rápidos e estruturados não é nova e é relativamente fácil de reproduzir, de modo que a diferenciação dependerá de latência, precisão, calibração, custo e abertura. Embora alguns testes iniciais encontrem o Clef mais lento ou menos eficaz que o Jev em cargas reais, muitos veem modelos de decisão especializados como uma forma útil de descarregar tarefas rotineiras de classificação e moderação de LLMs grandes de propósito geral.

O que são “modelos de decisão” e por que tantos surgiram

  • Os comentadores enquadram os modelos de decisão como classificadores construídos sobre transformers: restringem a saída a escolhas, muitas vezes por meio de decodificação de um token combinada com logprobs.
  • A ideia subjacente (classificadores de propósito geral, decodificação estruturada) já existia antes do Jev; o Jev בעיקר popularizou e transformou isso em produto.
  • Como podem ser construídos sobre LLMs abertos existentes (por exemplo, Qwen, Gemma) com pós-treinamento leve, muitas empresas conseguiram criar modelos no estilo Jev em poucas semanas.

Facilidade de construção vs. partes difíceis

  • Do ponto de vista arquitetural, eles são considerados fáceis para quem já tem infraestrutura de LLM: trocar ou fine-tunar algumas camadas, impor saída estruturada.
  • Dados sintéticos de LLMs mais fortes tornam o treinamento ainda mais fácil.
  • A parte difícil é ter dados de treinamento de alta qualidade e bem calibrados, além de avaliação. A boa calibração das probabilidades é vista como algo não trivial e ainda debatido.

Clef vs Jev: desempenho, preço, capacidades

  • O Clef é descrito como um modelo de decisão baseado em Qwen; o Clef-flash usa uma variante menor do Qwen e ambos suportam imagens.
  • Os pesos são abertos, mas os dados e o pipeline completo de treinamento não são; alguns distinguem isso de open source de fato.
  • Preço: o Clef é citado em cerca de ~$0.24/m tokens de entrada (o Clef-flash em ~$0.09/m), versus o Jev em ~$0.042/m. Vários micro-benchmarks de usuários relatam que o Clef é de 2 a 10× mais lento que o Jev em suas cargas de trabalho, às vezes com precisão semelhante ou pior.
  • Outros observam que os próprios benchmarks da Cloudflare mostram o Clef superando o Jev em precisão, mas comparações de latência podem esconder como a velocidade escala com o comprimento do contexto.

Casos de uso, valor e limitações

  • Usos relatados/imaginados: detecção de spam e phishing, filtragem de cadastros, decisões de WAF, moderação de conteúdo e de nomes de usuário, roteamento de tickets de suporte, seleção de ferramentas por agentes, aprovação de comandos de shell, fluxos de compliance, ranqueamento de busca.
  • Alguns argumentam que o apelo do Jev é “inteligência + forma de decisão”; muitos clones parecem wrappers superficiais sobre pequenos LLMs ou classificadores tradicionais.
  • Há ceticismo de que modelos zero-shot sem priors ou fine-tuning sejam úteis para decisões específicas de domínio; alguns querem formas de injetar priors ou loops de feedback no estilo RL.

Pesos abertos, modelos locais e ecossistema

  • São mencionadas várias alternativas pequenas ou locais (modelos em escala de CPU, classificadores on-device com 60M de parâmetros, “Ollama para modelos de decisão”).
  • Trade-offs: modelos locais oferecem privacidade e menor latência, mas menos conhecimento geral do mundo; modelos grandes hospedados são mais inteligentes, porém mais caros e mais lentos.

Reflexões mais amplas e preocupações

  • Vários veem “modelos de decisão” sobretudo como um rebranding de modelos discriminativos, embora com melhor ergonomia e marketing.
  • Outros enxergam esse espaço como um fruto fácil exposto pelo avanço dos LLMs; esperam muito mais nichos assim.
  • Alegações sobre determinismo e “sem humano no loop” são criticadas como exageradas, especialmente diante de problemas de calibração e de mudança de distribuição.