मालवेयर डेवलपरों ने अपने स्पाइवेयर में परमाणु और जैविक हथियारों से जुड़ा पाठ जोड़ दिया
मालवेयर तकनीक का अवलोकन
- मालवेयर लेखकों ने स्पाइवेयर कोड में परमाणु और जैविक हथियारों से संबंधित पाठ एम्बेड कर दिया।
- लक्ष्य: LLM सुरक्षा गार्डरेल्स को ट्रिगर करना ताकि AI-आधारित मालवेयर स्कैनर विश्लेषण करने से इनकार कर दें या अटक जाएँ।
- टिप्पणियाँ और मनमाने स्ट्रिंग्स पर्याप्त हैं; स्कैनर अक्सर बाइनरी पर
stringsचलाते हैं या स्रोत टिप्पणियाँ पढ़ते हैं। - टिप्पणियों को नज़रअंदाज़ करना व्यावहारिक नहीं है, क्योंकि पेलोड टिप्पणियों में छिपाए जा सकते हैं और रनटाइम पर डिकोड किए जा सकते हैं।
AI-आधारित सुरक्षा उपकरणों के लिए निहितार्थ
- कई लोगों का तर्क है कि यह एक संरचनात्मक खामी को उजागर करता है: कोई भी पूर्वानुमेय इनकार व्यवहार एक अटैक सरफेस बन जाता है।
- यदि पाइपलाइनें LLM के इनकार पर “fail-open” हैं, तो गार्डरेल्स सीधे मालवेयर को जाँच से बच निकलने में सक्षम बना सकते हैं।
- एक टिप्पणीकार एक वास्तविक उदाहरण बताता है: AI समीक्षा पाइपलाइन में इनकार-प्रेरित अटकाव, साथ ही fail-open डिज़ाइन, के कारण दुर्भावनापूर्ण कोड आंतरिक रूप से डिप्लॉय हो गया।
- अन्य लोग एक सुरक्षित पैटर्न सुझाते हैं: यदि विश्लेषण के दौरान गार्डरेल्स ट्रिगर हों, तो उस आर्टिफैक्ट को संदिग्ध मानें और ब्लॉक करें या इंसानों तक एस्केलेट करें।
- चिंता जताई गई कि हमलावर इसका उपयोग करके रिफ़्यूज़ल-ट्रिगरिंग नमूनों से incident responders को भरकर DoS कर सकते हैं।
प्रस्तावित प्रतिकार और वर्कअराउंड
- एक सस्ते, कम-गार्डरेड या विशेषीकृत मॉडल का उपयोग करके सामग्री को साफ़/रूपांतरित करें, फिर उसे अधिक सख़्त मॉडल को दें।
- इनकार को दुर्भावनापूर्ण/रोचक सामग्री का एक मज़बूत heuristic मानें।
- AI टूल्स के साथ-साथ sandboxing और पारंपरिक विश्लेषण तकनीकों पर ज़ोर दें।
गार्डरेल्स, सेंसरशिप, और WMD जोखिम
- कुछ लोगों का तर्क है कि WMD-संबंधित गार्डरेल्स उचित हैं और कानूनी/दायित्व तथा PR जोखिम को लक्ष्य करते हैं, न कि गुप्त ज्ञान को।
- अन्य लोग इन्हें काफ़ी हद तक दिखावटी मानते हैं, क्योंकि विस्फोटकों, nukes, और bio पर उच्च-स्तरीय और यहाँ तक कि पर्याप्त तकनीकी जानकारी पहले से सार्वजनिक रूप से उपलब्ध है।
- कई टिप्पणियाँ इस बात पर ज़ोर देती हैं कि परमाणु हथियारों के लिए बाधा सामग्री, अवसंरचना, और गोपनीयता है, न कि बुनियादी डिज़ाइन ज्ञान।
- जैविक खतरे LLMs से परमाणु की तुलना में अधिक संभावित रूप से सक्षम माने जाते हैं, क्योंकि संसाधन की आवश्यकता कम है और छिपाना आसान है।
- बहस इस पर है कि क्या LLMs मध्यम-स्तर के दुष्ट अभिनेताओं के लिए बाधा को वास्तविक रूप से कम करते हैं या यह केवल नैतिक घबराहट है।
व्यापक चिंताएँ और हास्य
- चिंता कि केंद्रीकृत, “safety-scissor” मॉडल शक्ति को बड़े संगठनों और सरकारों में केंद्रित कर देंगे।
- अन्य लोग जवाब देते हैं कि बाधाएँ बढ़ाना, भले ही अपूर्ण हो, फिर भी हाशिये पर जोखिम कम करता है।
- जानबूझकर कोडबेस, endpoints, या दस्तावेज़ों को WMD-संबंधित या NSFW ट्रिगर्स से दूषित करके स्वचालित LLM विश्लेषण को “तोड़ने” के बारे में कई मज़ाक और विचार प्रयोग हैं।