Clef: खुले-वज़न निर्णय मॉडल, और नया RL fine-tuning प्लेटफ़ॉर्म
Cloudflare का नया Clef “decision model” — Qwen पर आधारित एक open-weight classifier जो structured choices और images को score कर सकता है — Typesafe के Jev और Jev-शैली के clones की लहर से तुलना खींच रहा है। टिप्पणीकारों का कहना है कि LLMs या छोटे models को तेज़, structured classifiers की तरह इस्तेमाल करने का मूल विचार नया नहीं है और इसे दोहराना अपेक्षाकृत आसान है, इसलिए फर्क latency, accuracy, calibration, cost, और openness पर निर्भर करेगा। जहाँ कुछ शुरुआती परीक्षणों में Clef वास्तविक workloads पर Jev से धीमा या कम प्रभावी दिखता है, वहीं कई लोग specialized decision models को बड़े general-purpose LLMs से routine classification और moderation tasks हटाने का उपयोगी तरीका मानते हैं.
“निर्णय मॉडल” क्या हैं और इतने सारे क्यों आए
- टिप्पणीकार निर्णय मॉडलों को ट्रांसफ़ॉर्मर्स पर बने क्लासिफ़ायर के रूप में देखते हैं: आउटपुट को विकल्पों तक सीमित करें, अक्सर एक-टोकन डिकोडिंग और logprobs के साथ।
- मूल विचार (general-purpose classifiers, structured decoding) Jev से पहले का है; Jev ने मुख्यतः इसे लोकप्रिय और उत्पादित किया।
- क्योंकि इन्हें मौजूदा open LLMs (जैसे Qwen, Gemma) पर हल्के post-training के साथ बनाया जा सकता है, कई टीमें कुछ ही हफ्तों में Jev-जैसे मॉडल खड़े कर सकती थीं।
बनाने में आसानी बनाम कठिन हिस्से
- संरचनात्मक रूप से, इन्हें LLM infrastructure रखने वाले किसी भी व्यक्ति के लिए आसान माना जाता है: कुछ layers बदलें या fine-tune करें, structured output लागू करें।
- मजबूत LLMs से synthetic data प्रशिक्षण को और आसान बना देता है।
- कठिन हिस्सा उच्च-गुणवत्ता वाला, अच्छी तरह calibrated training data और evaluation है। probabilities की अच्छी calibration को गैर-तुच्छ माना जाता है और इस पर अभी भी बहस है।
Clef बनाम Jev: प्रदर्शन, मूल्य निर्धारण, क्षमताएँ
- Clef को Qwen-आधारित decision model बताया गया है; Clef-flash छोटे Qwen variant का उपयोग करता है और दोनों images सपोर्ट करते हैं।
- weights खुले हैं, लेकिन data और पूरा training pipeline नहीं; कुछ लोग इसे पूरी तरह open-source से अलग मानते हैं।
- मूल्य निर्धारण: Clef को लगभग $0.24/m input tokens (Clef-flash लगभग $0.09/m) बताया गया है, जबकि Jev लगभग $0.042/m है। कई उपयोगकर्ताओं के micro-benchmarks में Clef अपने workloads के लिए Jev से 2–10× धीमा दिखता है, कभी-कभी समान या बदतर accuracy के साथ।
- अन्य लोग नोट करते हैं कि Cloudflare के अपने benchmarks में Clef accuracy पर Jev से बेहतर दिखता है, लेकिन latency comparisons context length के साथ speed कैसे scale करती है, इसे छिपा सकते हैं।
उपयोग, मूल्य, और सीमाएँ
- रिपोर्ट किए गए/कल्पित उपयोग: spam और phishing detection, signup filtering, WAF decisions, content और username moderation, support tickets routing, agent tool selection, shell-command approval, compliance workflows, search ranking।
- कुछ लोग तर्क देते हैं कि Jev की अपील “intelligence + decision shape” है; कई clones छोटे LLMs या पारंपरिक classifiers के ऊपर सतही wrappers जैसे लगते हैं।
- इस पर संदेह है कि बिना priors या fine-tuning वाले zero-shot models domain-specific decisions के लिए उपयोगी होंगे; कुछ लोग priors inject करने या RL-style feedback loops के तरीके चाहते हैं।
खुले weights, स्थानीय मॉडल, और ecosystem
- कई छोटे या local alternatives का उल्लेख है (CPU-scale models, 60M-parameter on-device classifiers, “Ollama for decision models”)।
- tradeoffs: local models privacy और latency देते हैं लेकिन कम general world knowledge; बड़े hosted models ज़्यादा smart हैं लेकिन महंगे और धीमे।
व्यापक विचार और चिंताएँ
- कई लोगों का मानना है कि “decision models” ज़्यादातर discriminative models का rebranding हैं, हालांकि ergonomics और marketing बेहतर है।
- अन्य लोग इस space को LLM progress से उजागर हुआ low-hanging fruit मानते हैं; उम्मीद है कि ऐसे और भी कई niches आएँगे।
- determinism और “no human in the loop” के दावे को अतिरंजित कहा गया है, खासकर calibration और distribution-shift issues को देखते हुए।