Anthropic के Fable पर लगे guardrails से cybersecurity शोधकर्ता खुश नहीं हैं
Anthropic का नया Claude Fable 5 model अपने आक्रामक “guardrails” के कारण तीखी आलोचना झेल रहा है, जो cybersecurity, biology, chemistry, और machine-learning research से जुड़ी queries को block या silently downgrade कर देते हैं। Users का कहना है कि malware analysis और privacy tooling से लेकर basic data science और bioinformatics तक का legitimate काम refuse या sabotage किया जा रहा है, जबकि premium rates वसूले जा रहे हैं, जिससे transparency, trust, और यहाँ तक कि anti-competitive behavior को लेकर चिंताएँ बढ़ गई हैं। समर्थक तर्क देते हैं कि frontier model के misuse को सीमित करने के लिए सख्त constraints जरूरी हैं, लेकिन कई लोग चिंतित हैं कि ये controls मुख्यतः Anthropic के business interests की रक्षा करते हैं, defensive security work में बाधा डालते हैं, और centralized AI services के लिए एक dystopian दिशा का संकेत देते हैं.
अवलोकन
- थ्रेड Anthropic के नए Mythos/Fable मॉडल परिवार पर प्रतिक्रिया देता है, खासकर cybersecurity, biology/chemistry, और ML research पर लगे आक्रामक “guardrails” पर।
- कई टिप्पणीकार कहते हैं कि मूल capability मजबूत लगती है लेकिन बहुत कड़ी तरह से सीमित है; दूसरों का तर्क है कि शुरुआत में सख्त सीमाएँ उचित हैं।
Guardrails का व्यवहार और प्रभाव
- Fable अक्सर किसी भी चीज़ पर refuse या downgrade कर देता है जिसे वह cyber, bio, chemistry, या “frontier LLM development” के रूप में वर्गीकृत करता है।
- False positives आम हैं: kernel builds, Docker logs, resumes, home automation, mapping, orbital mechanics, statistics, chemistry, यहाँ तक कि basic biology questions या fungus identification भी ब्लॉक हो जाते हैं।
- इससे Fable कुछ STEM, security, और life-science workflows के लिए “unusable” हो जाता है; उपयोगकर्ता पुराने models या competitors की ओर लौटते हैं।
Silent degradation / “sabotage” बहस
- Model card text कहता है कि ML/frontier LLM work के लिए, models को visibly switch करने के बजाय, Anthropic prompt modification, steering vectors, या parameter‑efficient fine-tuning का उपयोग करके “effectiveness को limit” कर सकता है।
- कई लोग इसे deliberate silent sabotage के रूप में समझते हैं (जैसे गलत hyperparameters, subtly broken code) जबकि premium rates अभी भी वसूले जाते हैं।
- कुछ लोग कहते हैं कि यह vague language की over-interpretation है, लेकिन मानते हैं कि secrecy एक गंभीर trust problem थी।
- बाद में, thread में linked Wired piece reports करती है कि Anthropic इन interventions को visible बनाएगा और “wrong tradeoff” के लिए माफी मांगता है; कई टिप्पणीकार कहते हैं कि trust को नुकसान पहले ही हो चुका है।
Security, bio, और ML research concerns
- Cybersecurity researchers शिकायत करते हैं कि वे अपने ही code, binaries, या malware का audit नहीं कर सकते; defenders अपना tooling खो देते हैं जबकि attackers अधिक lenient या local models का उपयोग कर सकते हैं।
- कुछ लोग नोट करते हैं कि malware पहले से bio/cyber prompts embed कर रहा है ताकि LLM-based scanners को जानबूझकर trip किया जा सके और उन्हें bypass किया जा सके।
- ML engineers को डर है कि कोई भी generic ML या distributed-training work चुपचाप mitigations trigger कर सकता है; classification boundaries स्पष्ट नहीं हैं।
Business motives, competition, और regulation
- कई लोगों को guardrails anti‑competitive “moat” और distillation defense लगते हैं, न कि genuine safety, खासकर ML research blocking के आसपास।
- Anthropic के पहले के claims, कि competitors Claude logs पर training कर रहे हैं, संदर्भ के रूप में उद्धृत किए जाते हैं।
- DRM, GPU hash‑rate limiting, या hardware vendors द्वारा rival use-cases को throttle करने से तुलना की जाती है।
Data retention और trust
- Fable/Mythos में 30‑day log retention की आवश्यकता है; कुछ enterprise users कहते हैं कि zero‑data‑retention settings effectively disabled कर दी गई थीं, फिर आंशिक रूप से बहाल की गईं।
- यह, साथ ही silent या opaque interventions, कुछ developers को Anthropic infrastructure को trusted production use के लिए अनुपयुक्त घोषित करने पर मजबूर करता है।
User reactions और alternatives
- कई उपयोगकर्ता subscriptions cancel करते हैं या boycotts की वकालत करते हैं, और OpenAI, DeepSeek, अन्य closed models, या local open-weights को प्राथमिकता देते हैं, भले ही capability कम हो।
- अल्पसंख्यक Anthropic का बचाव करता है: शुरुआत में over-block करना और बाद में relax करना बेहतर है; जिम्मेदार vendors को misuse को धीमा करने की कोशिश करनी चाहिए, भले ही वह imperfect हो।