Decisions API सार्वजनिक बीटा में है

मूल लेख ↗ Hacker News चर्चा ↗

OpenAI का नया Decisions API, जो gpt‑6‑luna मॉडल पर आधारित एक तेज़, कम-लागत classifier है, Jev और समान “decision models” के सीधे जवाब के रूप में देखा जा रहा है, जो free-form text के बजाय calibrated probabilities देते हैं। टिप्पणीकार इसकी ऊँची कीमत और मिश्रित शुरुआती benchmarks की तुलना Jev और open-source alternatives से करते हैं, लेकिन image input, long context windows, और पहले से OpenAI इस्तेमाल कर रहे enterprises के लिए आसान procurement जैसे लाभों को भी नोट करते हैं। बड़ा विषय यह है कि क्या ऐसे decision models AI के commoditization को तेज़ करेंगे — providers को price wars और lock-in strategies की ओर धकेलते हुए — या बड़े AI systems में routing, safety checks, और real-time automation के लिए एक foundational utility बनेंगे.

Product & API Design

  • नया /v1/decisions endpoint gpt‑6‑luna मॉडल को लपेटकर इनपुट के बारे में संरचित “questions” का उत्तर देता है, और टेक्स्ट की बजाय probabilities लौटाता है।
  • Predicate (yes/no) और choice questions, कई questions के साथ parallelization, 1M-token input, और multimodal (image) input का समर्थन करता है।
  • Output tokens निःशुल्क हैं; लागत $0.10/M input tokens है। कोई KV caching नहीं; संभवतः सबसे कम latency के लिए optimized है।

Comparisons to Jev and Other Decision Models

  • सीधी तुलना thread पर हावी रही। Jev: ~$0.042/M input tokens, इसलिए Decisions से ~2–3× सस्ता; दोनों में output निःशुल्क है।
  • कुछ users की evals: उनके tagging/UI-routing tasks के लिए Jev तेज़ और अधिक सटीक; Decisions धीमा और महँगा, और कभी-कभी calls विफल हुईं।
  • अन्य लोग समान prompts पर Decisions को अच्छा प्रदर्शन करते हुए बताते हैं, जिससे संकेत मिलता है कि prompt format और API differences महत्वपूर्ण हैं।
  • Jev की तुलना में Decisions के मुख्य differentiators: image input, long context window, और OpenAI enterprise stack तथा clouds के माध्यम से उपलब्धता (उदा., OpenAI के लिए Bedrock/Azure support है, Jev के लिए नहीं)।

Calibration, Probabilities & Technical Behavior

  • इस पर बहस कि क्या classic LLM prompts पहले से ही पर्याप्त हैं; counterargument यह है कि decision models calibrated probabilities expose करते हैं, जो standard LLM calls से नहीं मिलतीं।
  • कुछ experiments दिखाते हैं:
    • Predicate-style questions अपेक्षित probabilities से अच्छी तरह मेल खाते हैं।
    • Choice-style questions में bias दिखता है (major class पर overconfident, option order के प्रति संवेदनशील)।
  • कई questions independent हैं; probabilities का 1 पर sum होना आवश्यक नहीं है।
  • Confidence बनाम per-class probabilities सवाल उठाते हैं; एक उपयोग low-confidence answers को reject करना है।

Use Cases Discussed

  • Content moderation, support routing, tagging, UI/component selection, PKM helpers.
  • Real-time या near-real-time tasks: video games, CCTV/train platform monitoring, shell command safety, dents/defects के लिए QC, notification triage (“urgent” WhatsApp messages).
  • कुछ लोग इसे बड़े agent systems के लिए मुख्यतः एक subcomponent मानते हैं (“cerebellum” to a larger LLM’s “brain”).

Market, Strategy & Skepticism

  • कई लोग decision models को इस बात का सबूत मानते हैं कि AI infra commodity बनती जा रही है; price wars और fast-following की उम्मीद है।
  • OpenAI को price के बावजूद उपयोग करने के पक्ष में तर्क: existing vendor approvals, compliance/ZDR, data-retention contracts, procurement friction, और platform stickiness.
  • अन्य लोग इस release की आलोचना करते हैं कि यह Jev की rushed response है, underbaked है, और लंबे समय का moat देने की संभावना कम है; open-source और local options को viable alternatives के रूप में रेखांकित किया गया है।