Purple Llama: जनरेटिव AI में खुले विश्वास और सुरक्षा की ओर
Meta की नई “Purple Llama” पहल, जिसमें Llama Guard safety model और security benchmarks शामिल हैं, का उद्देश्य संगठनों को content filters और code-safety evaluations के साथ generative AI deploy करने में मदद करना है, जो OpenAI की moderation layer जैसी है, लेकिन downloadable weights के साथ। टिप्पणीकर्ता इस बात पर sharply विभाजित हैं कि क्या यह liability और harmful outputs से चिंतित enterprises के लिए आवश्यक guardrails हैं, या फिर यह overreaching “lobotomization” है जो models को censor करती है और users से अधिक corporations की रक्षा करती है। अन्य लोग नोट करते हैं कि prompt injection जैसे प्रमुख जोखिम अभी भी largely unsolved हैं, और Meta की “open” branding पर सवाल उठाते हैं, उसके non–open-source licensing और व्यापक content-moderation track record को देखते हुए।
साइट और UX समस्याएँ
- कई उपयोगकर्ताओं ने बताया कि Meta पेज ब्राउज़र हिस्ट्री को तोड़ देता है (खासकर macOS पर Firefox में), जबकि कुछ लोग Safari/Edge पर कोई समस्या नहीं देखते।
- Meta की लॉगिन / अकाउंट प्रक्रिया (Meta बनाम Facebook बनाम Instagram बनाम क्षेत्रीय प्रतिबंध) को उलझनभरी और Microsoft जैसी बताया गया है।
सुरक्षा, सेंसरशिप, और “लोबोटमाइज़्ड” मॉडल
- “सुरक्षा-ट्यून किए गए” मॉडलों पर तीखी बहस है: कुछ लोग गार्डरेल्स को क्षमताओं को कुंद करने वाला मानते हैं (“spicy mayo problem”), जबकि अन्य उन्हें वाणिज्यिक डिप्लॉयमेंट और कानूनी जोखिम के लिए आवश्यक स्वीकार करते हैं।
- लोग नोट करते हैं कि NSFW या “uncensored” LLaMA डेरिवेटिव अक्सर benign उपयोगों के लिए भी अधिक स्वाभाविक और कम “customer-service-like” लगते हैं।
- गार्डरेल्स को बायपास करने के तरीके (जैसे “Sure…” जोड़ना या structured prompts) व्यापक रूप से ज्ञात हैं; बड़े मॉडल कभी-कभी प्रतिरोध करते हैं, लेकिन अक्सर फिर भी steer किए जा सकते हैं।
Open बनाम Open Source और Meta की रणनीति
- कई टिप्पणियाँ इस बात पर ज़ोर देती हैं कि LLaMA, OSI अर्थ में open source नहीं है; इसका लाइसेंस उपयोग को सीमित करता है (जैसे competing models, बहुत बड़े user bases)।
- Meta पर PR के लिए “open” और “open source” को धुंधला करने का आरोप लगाया जाता है, लेकिन साथ ही उसके मज़बूत FOSS track record का श्रेय भी दिया जाता है।
- अटकल है कि LLaMA और Purple Llama Meta की मदद करते हैं: brand rehab, standards को प्रभावित करना, और सीधे models बेचने के बजाय “commoditizing complements” करना।
Purple Llama के घटक और इच्छित उपयोग
- Llama Guard को OpenAI के moderation API जैसी भूमिका वाला, लेकिन साझा किया जा सकने वाला model बताया गया है।
- इसकी taxonomy violence/hate, sexual content, weapons, drugs, self-harm, और crime planning पर केंद्रित है—आलोचक नोट करते हैं कि यह medical misadvice या prompt injection जैसी चीज़ों को संबोधित नहीं करता।
- कुछ लोग code-security datasets और benchmarks को सुरक्षित code-generation models के लिए वास्तव में उपयोगी मानते हैं।
Prompt Injection और सुरक्षा संबंधी चिंताएँ
- एक लंबा subthread तर्क देता है कि prompt injection मुख्य अनसुलझा deployment risk है, खासकर जब LLMs के पास tool access हो या वे untrusted content के साथ private data देखें।
- SQL/XSS injection से तुलना की जाती है: third-party text instructions को override कर सकता है, data exfiltrate कर सकता है, या अनचाही कार्रवाइयाँ करा सकता है।
- प्रस्तावित mitigations: capabilities का सख्त scoping, “dual LLM” patterns, संवेदनशील कार्रवाइयों के लिए human-in-the-loop, और LLM द्वारा सुझाई गई operations को auto-execute न करना। सहमति: अभी कोई मज़बूत, सामान्य fix नहीं है।
Moderation, Humor, और False Positives
- Facebook-शैली moderation के कई किस्से हैं, जहाँ साफ़ jokes/sarcasm को threats या incitement समझ लिया गया।
- कुछ लोग biased human mods की तुलना में AI moderation के पक्ष में हैं; दूसरों का तर्क है कि मौजूदा AI और human दोनों प्रणालियाँ context, संस्कृति, और humor पर विफल रहती हैं।