Gemini Decisions API
Google का नया Gemini Decisions API अपने AI portfolio में Jev-शैली के decision models लाता है, जो classification, routing, और guardrail tasks के लिए calibrated probabilities प्रदान करता है, और text, images, audio, video, तथा PDFs का समर्थन करता है। Commenters इसे Jev और OpenAI के Decisions API का fast-follow मानते हैं, और latency, accuracy, cost, तथा probability calibration के trade-offs पर बहस करते हैं, साथ ही Google की product longevity और pricing strategy पर भी चर्चा करते हैं। कई लोग नोट करते हैं कि decision models email filtering, tool routing, और safety checks जैसी चीज़ों के लिए token usage और costs को काफी कम कर सकते हैं, लेकिन उच्च-दांव या सख़्त accuracy-संवेदनशील उपयोग मामलों में उनकी विश्वसनीयता पर सवाल उठाते हैं।
उत्पाद और फीचर्स
- Gemini Decisions API को एक Jev-शैली के decision model के रूप में प्रस्तुत किया गया है, जिसमें text, images, audio, video, और files (जैसे PDFs) का समर्थन है।
- Multimodal input को एक बड़ा differentiator माना जा रहा है, खासकर call analysis या document-based decisions जैसे कार्यों के लिए।
- कुछ लोग नोट करते हैं कि यह Mediapipe में Google के पहले के “Decision Maker” काम (local inference) पर आधारित है, लेकिन यह एक अलग प्रयास प्रतीत होता है।
मूल्य निर्धारण, प्रदर्शन और benchmarks
- कई commenters कहते हैं कि यह प्रतिस्पर्धी decision models की तुलना में अधिक महंगा है; विशिष्ट तुलना में $0.10/M बनाम अन्य के लिए लगभग $0.02/M tokens का उल्लेख है।
- Latency को प्रतिस्पर्धी बताया गया है, लेकिन Jev या अन्य APIs से स्पष्ट रूप से बेहतर नहीं; p50 numbers कागज़ पर मजबूत दिखते हैं।
- Providers के बीच benchmarks बहुत करीब दिखते हैं; कुछ इसे बेहतर benchmarks की आवश्यकता मानते हैं, जबकि अन्य इसे convergence या copying का प्रमाण मानते हैं।
Jev / OpenAI Decisions से तुलना
- कई लोग इसे Jev के लिए एक fast-follow मानते हैं, जो OpenAI के Decisions endpoint जैसा है।
- कुछ लोग रिपोर्ट करते हैं कि Gemini Decisions ने उनके अपने tests में Jev की तुलना में काफी कम Brier scores हासिल किए, लेकिन लगभग 2x लागत पर।
- Jev को अभी भी speed, price, और text-only workloads के लिए सराहा जाता है; अपेक्षा है कि Jev व्यवहार्य बना रहेगा, विशेषकर हालिया funding को देखते हुए।
Decision models के उपयोग-क्षेत्र
- सामान्य उपयोग: routing, classification, spam/ticket triage, email filtering, tool selection, guardrails, और LLM-as-judge replacement।
- इन्हें training data labeling, human review gating, system outputs का evaluation, और full LLM invoke करने से पहले एक cheap router के रूप में भी उपयोग किया जाता है।
- कुछ लोग drastically कम token usage और deterministic, low-temperature behavior में मजबूत मूल्य देखते हैं; अन्य इसे अभी भी “problem की तलाश में solution” मानते हैं।
Probability, calibration और तकनीकी बहस
- इस पर एक बड़ा subthread है कि ये models probabilities कैसे estimate करते हैं और वे कितने well-calibrated हैं।
- उठाए गए बिंदु: RLHF के बाद LLM token logprobs खराब तरीके से calibrated होते हैं; decision APIs बेहतर calibration का दावा करते हैं, लेकिन task-specific ground truth के बिना इसे सत्यापित करना कठिन है।
- इस पर बहस कि क्या cross-entropy training वास्तव में व्यवहार में अच्छे probability estimates देती है, खासकर covariate shift या अलग-अलग task phrasing के तहत।
- कुछ का तर्क है कि calibration स्थापित करने के लिए labeled data के साथ empirical verification ही पर्याप्त है; consistency अकेली पर्याप्त नहीं है।
Google पर भरोसा और product longevity
- Google की नई services अपनाने को लेकर skepticism है, क्योंकि पहले product shutdowns हुए हैं; कुछ लोग भरोसा केवल Search, Gmail, YouTube जैसे core products तक सीमित रखते हैं।
- Counterpoint: enterprise-focused APIs के consumer apps की तरह अचानक बंद होने की संभावना कम होती है, क्योंकि वे paying customers को सेवा देती हैं।
- कुछ prompts पर content-policy blocks और तत्काल Vertex integration का अभाव शुरुआती friction माना गया है।
Skepticism और critiques
- आलोचकों का तर्क है कि explicit “reasoning” के बिना models गंभीर classification के लिए कमजोर हैं, और specialized small models उनके बराबर या बेहतर कर सकते हैं।
- अन्य लोग सवाल उठाते हैं कि per-task calibration के बिना LLMs से confidence पूछना या generic decision APIs का उपयोग करना कभी principled हो सकता है या नहीं।
- कुछ लोग संभावित misuse की चिंता करते हैं (जैसे लोगों के बारे में opaque automated decisions), जबकि अन्य decision models को ऐसे व्यवहार पर एक check के रूप में देखते हैं।