Fable 5 – अगस्त में औसत सोच में गिरावट आई
दावे हैं कि Anthropic का Fable 5 model चुपचाप कई हफ्तों में degrade हो गया है, वह कम “सोच” रहा है और खराब प्रदर्शन कर रहा है। इससे यह चिंता फिर उठी है कि AI vendors launch के बाद inference costs घटाते हैं, जबकि वही branded model बेचते रहते हैं। चर्चा इस पर बंटी है कि perceived decline कितना वास्तविक है और कितना user bias या बदलते workloads का परिणाम, और क्या token-level telemetry तथा third-party benchmarks advertised “reasoning” capabilities की तुलना में systematic under-delivery दिखाते हैं। यह thread transparency, regulation, और opaque A/B tests, hidden quantization, तथा बदलती service quality से बचने के लिए open या self-hosted models के अधिक उपयोग की मांग तक फैल जाता है.
मॉडल के प्रदर्शन में कथित गिरावट
- कई उपयोगकर्ता रिपोर्ट करते हैं कि Fable 5 (और पहले के Opus संस्करण, साथ ही अन्य विक्रेताओं के मॉडल) लॉन्च के कुछ हफ्तों बाद स्पष्ट रूप से बदतर लगने लगते हैं: कम सक्रिय, अधिक सतही, ज़्यादा “please करने के लिए उत्सुक,” code navigation और tool use में खराब।
- शिकायतें कई क्षेत्रों तक फैली हैं (distributed systems, embedded, सामान्य coding, math, brainstorming); कुछ लोग कहते हैं कि रोज़मर्रा के “mood swings” मॉडलों को slot machines जैसा महसूस कराते हैं।
- कई लोग safety interventions के बाद भारी guardrails और system-prompt changes को “nerfed” व्यवहार का संभावित स्रोत मानते हैं।
संभावित तकनीकी / आर्थिक कारण
- परिकल्पनाएँ: कम test-time compute, runtime quantization, “thinking tokens” में कमी, degraded KV cache resolution, अधिक demand के दौरान load shedding, सस्ते models की secret routing, या auto-mode effort downgrades।
- कुछ लोगों का सुझाव है कि capacity constraints और नए models का training existing models से compute को हटाने का कारण बनते हैं।
- अन्य “planned obsolescence” / “Shepard tone” रणनीतियाँ प्रस्तावित करते हैं: शुरुआत में पूरी गुणवत्ता के साथ launch, फिर inference को धीरे-धीरे सस्ता करना, और बाद में एक “नया” model जारी करना जो मुख्यतः original व्यवहार को बहाल करता है।
मापन, benchmarks, और methodology
- मूल “thinking token” analysis पर बहुत बहस हुई है:
- समर्थकों का कहना है कि multi-week, multi-project corpus और token trends मजबूत रूप से systematic shifts का संकेत देते हैं।
- आलोचकों का तर्क है कि यह बदलते workloads पर post-hoc है, कोई fixed benchmark नहीं; दिन-प्रतिदिन का variation user-side भी हो सकता है।
- कई लोगों के अनुसार coding sessions की तुलना ARC-AGI-2 reasoning-token counts से करना अनुचित है, क्योंकि वे tasks जानबूझकर बेहद चरम हैं।
- बाहरी trackers (जैसे repeated coding benchmarks) आम तौर पर छोटे उतार-चढ़ाव दिखाते हैं; कुछ इन्हें वास्तविक गिरावट मानते हैं, जबकि अन्य कहते हैं कि ये अपेक्षित noise की सीमा में हैं।
विश्वास, पारदर्शिता, और regulation
- इस बात को लेकर गहरी चिंता है कि providers अपारदर्शी “black boxes” चलाते हैं, और बिना disclosure के quantization, effort, या यहाँ तक कि underlying models बदल सकते हैं।
- बहस यह है कि क्या यह सीधी fraud है या ToS द्वारा कवर है, जो services को modify या degrade करने की अनुमति देते हैं।
- कई लोग निम्नलिखित की मांग करते हैं:
- स्वतंत्र “weights and measures”-शैली की oversight,
- “intelligence” के लिए SLAs या metrics,
- हर request पर model/quantization identity के proof।
उपयोगकर्ता की धारणा, non-determinism, और विकल्प
- कई लोगों का तर्क है कि मनुष्य stochastic systems का मूल्यांकन करने में खराब होते हैं और hedonic adaptation के अधीन होते हैं; model वही रह सकता है जबकि expectations बढ़ती हैं या projects अधिक जटिल हो जाते हैं।
- अन्य लोग insist करते हैं कि बदलाव अकेले vibes से समझाया जा सकने से बहुत बड़ा और अचानक है।
- निराशा open-weight और self-hosted models (Qwen, GLM, DeepSeek, आदि) में रुचि बढ़ा रही है ताकि stability और control मिले, भले ही frontier capability थोड़ी कम हो या hardware costs अधिक हों।