क्या Opus 5.5 को nerf किया गया है? 3 नवंबर को thinking patterns बदल गए
Anthropic के Claude Opus 5.5 मॉडल के उपयोगकर्ताओं ने code quality, reliability, और “thinking” behavior में अचानक गिरावट की रिपोर्ट की, जिससे कई लोगों को संदेह हुआ कि मॉडल को चुपचाप “nerf” किया गया है, खासकर नए model launches और कंपनी के IPO से पहले। दूसरे लोग जवाब देते हैं कि benchmark trackers और API-based evals में कोई स्पष्ट गिरावट नहीं दिखती, जिससे लगता है कि यह सामान्य variance, harness changes, या user bias हो सकता है, न कि जानबूझकर की गई downgrade। यह बहस opaque model updates पर बढ़ते अविश्वास, paid tiers पर A/B testing और cost-cutting की चिंताओं, और open-weight या self-hosted models में नए सिरे से रुचि को उजागर करती है, जो कम capable होने के बावजूद अधिक predictable behavior देते हैं।
Opus 5.5 और संबंधित मॉडलों के कथित “nerfing”
- कई उपयोगकर्ता रिपोर्ट करते हैं कि लगभग 3–7 नवंबर के आसपास Opus 5.5 की गुणवत्ता में स्पष्ट गिरावट आई: अधिक बुनियादी गलतियाँ, कदम छोड़ देना, खराब कोड, बार-बार tool-call विफलताएँ, पिछले निर्देशों को अनदेखा करना, और “hungover” / आलसी व्यवहार।
- कुछ लोग यह भी रिपोर्ट करते हैं कि Fable और अन्य Anthropic मॉडल धीमे, अधिक verbose, कम विश्वसनीय हो गए हैं, और safety rails से अधिक बार टकरा रहे हैं।
- कई लोगों ने बताया कि पहले जो काम “low”/“medium” पर हो जाता था, उसके लिए अब effort level को बढ़ाकर “high” या “x-high” करना पड़ रहा है, और usage limits भी बहुत तेज़ी से खत्म हो रही हैं।
प्रस्तावित व्याख्याएँ (थ्रेड के भीतर अनुमानात्मक)
- Capacity / cost: नया मॉडल train करने या लॉन्च करने के लिए compute का पुनर्वितरण; सस्ते variants के लिए heavy quantization या distillation; thinking tokens या context कम करना; subscription users की तुलना में “fast” या enterprise/API traffic को प्राथमिकता देना।
- Marketing / IPO: नए releases से पहले पुराने models को कमजोर करना ताकि upgrades ज़्यादा नाटकीय लगें; planned obsolescence / “enshittification।”
- A/B testing: harness prompts, safety layers, routing, और quant levels पर silent experiments; कुछ लोग दावा करते हैं कि subscription users, API या cloud-hosted versions की तुलना में अधिक प्रभावित हैं।
- Bugs: पिछले उदाहरणों में harness या TPU-related regressions, cache handling issues, या prompt changes से performance खराब होने का हवाला दिया गया।
संदेह और प्रतिवाद
- कई टिप्पणीकार कहते हैं कि उनके अपने लंबे उपयोग में सामान्य variance से परे कोई महत्वपूर्ण गिरावट नहीं दिखी।
- सार्वजनिक trackers (जैसे Livenerf, nerf-bench, और अन्य benchmarks) तथा कुछ private eval suites में Opus 5.5 performance में कोई स्पष्ट गिरावट नहीं दिखती, खासकर API के माध्यम से।
- कुछ लोग इस पैटर्न को मानवीय मनोविज्ञान से जोड़ते हैं: मॉडल लॉन्च होने पर novelty अधिक होती है, फिर expectations बढ़ती हैं और flaws अधिक स्पष्ट लगने लगते हैं; “nerf” कथाओं के आसपास confirmation bias।
- कुछ छोटे evals में अधिकतम मामूली या सांख्यिकीय रूप से अस्पष्ट बदलाव दिखते हैं।
व्यापक विषय: trust, determinism, और business risk
- भुगतान वाले tools के अप्रत्याशित रूप से बदलने पर गहरी निराशा, जिससे workflows, security reviews, और long-running projects टूट जाते हैं।
- Local/open-weight models को stability और version control के लिए सराहा जाता है, भले ही उनकी raw capability कम हो और hardware costs अधिक हों; अन्य लोग तर्क देते हैं कि frontier cloud models quality और overall productivity में अभी भी बहुत आगे हैं।
- माँगें:
- Models और harnesses के लिए transparent changelogs।
- Independent, continuous nerf-bench-style tracking (subscription “secret shopper” testing सहित)।
- New versions और existing SKUs में silent changes के बीच स्पष्ट separation।
- कुल मिलाकर, thread में यह स्पष्ट नहीं हुआ कि वास्तव में, मापने योग्य nerf हुआ या नहीं; जो स्पष्ट है वह है model stability पर भरोसे की व्यापक कमी।