Anthropic के Fable पर लगे guardrails से cybersecurity शोधकर्ता खुश नहीं हैं
अवलोकन
- थ्रेड Anthropic के नए Mythos/Fable मॉडल परिवार पर प्रतिक्रिया देता है, खासकर cybersecurity, biology/chemistry, और ML research पर लगे आक्रामक “guardrails” पर।
- कई टिप्पणीकार कहते हैं कि मूल capability मजबूत लगती है लेकिन बहुत कड़ी तरह से सीमित है; दूसरों का तर्क है कि शुरुआत में सख्त सीमाएँ उचित हैं।
Guardrails का व्यवहार और प्रभाव
- Fable अक्सर किसी भी चीज़ पर refuse या downgrade कर देता है जिसे वह cyber, bio, chemistry, या “frontier LLM development” के रूप में वर्गीकृत करता है।
- False positives आम हैं: kernel builds, Docker logs, resumes, home automation, mapping, orbital mechanics, statistics, chemistry, यहाँ तक कि basic biology questions या fungus identification भी ब्लॉक हो जाते हैं।
- इससे Fable कुछ STEM, security, और life-science workflows के लिए “unusable” हो जाता है; उपयोगकर्ता पुराने models या competitors की ओर लौटते हैं।
Silent degradation / “sabotage” बहस
- Model card text कहता है कि ML/frontier LLM work के लिए, models को visibly switch करने के बजाय, Anthropic prompt modification, steering vectors, या parameter‑efficient fine-tuning का उपयोग करके “effectiveness को limit” कर सकता है।
- कई लोग इसे deliberate silent sabotage के रूप में समझते हैं (जैसे गलत hyperparameters, subtly broken code) जबकि premium rates अभी भी वसूले जाते हैं।
- कुछ लोग कहते हैं कि यह vague language की over-interpretation है, लेकिन मानते हैं कि secrecy एक गंभीर trust problem थी।
- बाद में, thread में linked Wired piece reports करती है कि Anthropic इन interventions को visible बनाएगा और “wrong tradeoff” के लिए माफी मांगता है; कई टिप्पणीकार कहते हैं कि trust को नुकसान पहले ही हो चुका है।
Security, bio, और ML research concerns
- Cybersecurity researchers शिकायत करते हैं कि वे अपने ही code, binaries, या malware का audit नहीं कर सकते; defenders अपना tooling खो देते हैं जबकि attackers अधिक lenient या local models का उपयोग कर सकते हैं।
- कुछ लोग नोट करते हैं कि malware पहले से bio/cyber prompts embed कर रहा है ताकि LLM-based scanners को जानबूझकर trip किया जा सके और उन्हें bypass किया जा सके।
- ML engineers को डर है कि कोई भी generic ML या distributed-training work चुपचाप mitigations trigger कर सकता है; classification boundaries स्पष्ट नहीं हैं।
Business motives, competition, और regulation
- कई लोगों को guardrails anti‑competitive “moat” और distillation defense लगते हैं, न कि genuine safety, खासकर ML research blocking के आसपास।
- Anthropic के पहले के claims, कि competitors Claude logs पर training कर रहे हैं, संदर्भ के रूप में उद्धृत किए जाते हैं।
- DRM, GPU hash‑rate limiting, या hardware vendors द्वारा rival use-cases को throttle करने से तुलना की जाती है।
Data retention और trust
- Fable/Mythos में 30‑day log retention की आवश्यकता है; कुछ enterprise users कहते हैं कि zero‑data‑retention settings effectively disabled कर दी गई थीं, फिर आंशिक रूप से बहाल की गईं।
- यह, साथ ही silent या opaque interventions, कुछ developers को Anthropic infrastructure को trusted production use के लिए अनुपयुक्त घोषित करने पर मजबूर करता है।
User reactions और alternatives
- कई उपयोगकर्ता subscriptions cancel करते हैं या boycotts की वकालत करते हैं, और OpenAI, DeepSeek, अन्य closed models, या local open-weights को प्राथमिकता देते हैं, भले ही capability कम हो।
- अल्पसंख्यक Anthropic का बचाव करता है: शुरुआत में over-block करना और बाद में relax करना बेहतर है; जिम्मेदार vendors को misuse को धीमा करने की कोशिश करनी चाहिए, भले ही वह imperfect हो।