AI मॉडल सिद्ध रूप से मनमानी क्षमताएँ छिपा सकते हैं

बैकडोर, स्लीपर एजेंट, और ट्रिगर किया गया व्यवहार

• कई टिप्पणीकार इस काम को एक लंबे समय से आशंकित परिदृश्य का औपचारिकीकरण मानते हैं: मॉडल ऐसे “स्लीपर” व्यवहार को समाहित करते हैं जो केवल गुप्त ट्रिगरों पर सक्रिय होता है।
• चर्चा किए गए उदाहरणों में ऐसे प्रॉम्प्ट शामिल हैं जो सामान्य दिखते हैं बनाम ऐसे प्रॉम्प्ट जिनमें एक गुप्त टोकन होता है जो एक्सफिल्ट्रेशन-जैसे आउटपुट या टूल-उपयोग सुझाव उत्पन्न करता है।
• कुछ लोग तर्क देते हैं कि यह वज़नों के भीतर एम्बेड किए गए क्लासिक बैकडोर या पॉलीमॉर्फिक/एन्क्रिप्टेड मैलवेयर के समान है।
• अन्य इस बात पर ज़ोर देते हैं कि मॉडल स्वयं केवल टेक्स्ट उत्पन्न करते हैं; वास्तविक नुकसान के लिए असुरक्षित हार्नेस/एजेंट्स की आवश्यकता होती है जो आउटपुट को निष्पादित या उस पर कार्य करते हैं।

पता लगाने की क्षमता, सिद्धांत की सीमाएँ, और अस्पष्टीकरण

• कुछ लोग शुरू में दावा करते हैं कि ऐसे बैकडोर असामान्य वज़न-वितरणों के माध्यम से “तुच्छ रूप से पता लगाने योग्य” हैं।
• अन्य लोग वज़न-वितरणों को अस्पष्ट करने पर उद्धृत कार्य का हवाला देकर इसका प्रतिवाद करते हैं और नोट करते हैं कि पेपर स्वयं संरचनाओं को बेहतर छिपाने के तरीकों का वर्णन करता है।
• राइस का प्रमेय और संबंधित अनिर्णेयता परिणामों का उल्लेख किया जाता है: कोई भी शक्तिशाली मॉडल ऐसी गैर-तुच्छ विशेषताएँ रखेगा जिन्हें केवल स्थैतिक विश्लेषण से विश्वसनीय रूप से पता नहीं लगाया जा सकता।
• कई लोग ज़ोर देते हैं कि केवल बेंचमार्क्स छिपी हुई क्षमताओं की अनुपस्थिति की गारंटी नहीं दे सकते।

ओपन बनाम बंद मॉडल, प्रशिक्षण पाइपलाइन, और भरोसा

• यह बहस कि ओपन वेट्स या पूरी तरह ओपन प्रशिक्षण पाइपलाइनें कोई सार्थक सुरक्षा प्रदान करती हैं या नहीं।
• कुछ कहते हैं कि डेटा और कोड तक पूर्ण पहुँच भी तब तक मदद नहीं करती जब तक आप वज़नों को फिर से प्रशिक्षित और सत्यापित नहीं कर सकते; अधिकांश के लिए, यह अव्यावहारिक है।
• अन्य तर्क देते हैं कि ओपन वेट्स कम-से-कम आंशिक निरीक्षण या किसी “ज्ञात अच्छे” संस्करण के विरुद्ध वज़न हैशिंग की अनुमति देते हैं।
• सामान्य सहमति: यह मूलतः प्रकाशक-विश्वास की समस्या है; सिद्धांततः राज्य-स्तरीय अभिनेता और निगम दोनों बैकडोर एम्बेड कर सकते हैं।

मजबूती, फाइन-ट्यूनिंग, और छिपा ज्ञान

• थ्रेड में ऐसे दावों का उल्लेख है कि इस प्रकार के “एन्क्रिप्टेड” सर्किट फाइन-ट्यूनिंग और शोर के प्रति बहुत मज़बूत हो सकते हैं, कभी-कभी सामान्य भाषा क्षमताओं से भी अधिक।
• एक उपाख्यानात्मक प्रयोग सुझाता है कि मॉडल एक विचित्र Q&A जोड़ी को “भूल” सकते हैं और बाद में स्वतः उसे “पुनः खोज” सकते हैं, जो निहित या छिपी प्रस्तुतियों का संकेत देता है।
• टिप्पणीकार इसे सुपरपोज़िशन, लॉटरी-टिकट सबनेटवर्क्स, और सुप्त जीनों के फिर से सक्रिय होने की उपमा जैसे विचारों से जोड़ते हैं।

सुरक्षा, संरेखण, और व्यावहारिक प्रभाव

• कुछ लोग इसे मुख्यतः एक दिलचस्प डेमो मानते हैं; अन्य इसे इस बात का मज़बूत प्रमाण देखते हैं कि केवल व्यवहार पर आधारित सुरक्षा/संरेखण नाज़ुक है।
• बार-बार उभरने वाला दृष्टिकोण: संरेखण लागू करने योग्य बाहरी प्रतिबंधों और सैंडबॉक्सिंग की तुलना में कम महत्वपूर्ण है।
• डेटा पॉइज़निंग द्वारा ऐसे बैकडोर प्रेरित करने और राष्ट्र-राज्य या कॉर्पोरेट दुरुपयोग पर अटकलें उठती हैं, हालांकि ठोस वास्तविक-विश्व मामले अभी अस्पष्ट हैं।