भूमिका भ्रम के रूप में प्रॉम्प्ट इंजेक्शन
भूमिका भ्रम और प्रॉम्प्ट इंजेक्शन की प्रकृति
- कई टिप्पणीकार इस बात से सहमत हैं कि यह पेपर उस चीज़ को औपचारिक रूप देता है जो अभ्यासकर्ता पहले से जानते थे: LLMs के पास वास्तविक “भूमिकाएँ” नहीं होतीं; सब कुछ एक ही स्ट्रीम में सिर्फ टोकन हैं।
- मॉडल “कौन बोल रहा है” यह शैली और स्थिति से अनुमान लगाता है, न कि सुरक्षित टैग्स से। इससे “सिस्टम की तरह बोलना” एक शक्तिशाली जाइलब्रेक युक्ति बन जाती है।
- कई लोग इसकी तुलना सोशल इंजीनियरिंग से करते हैं: यदि आप अधिकार के लहजे में बोलते हैं, तो मॉडल आपको उसी तरह मान लेता है।
अधिक मजबूत भूमिका-संकेत के लिए विचार
- कई लोग टोकनों को “कलर” करने का सुझाव देते हैं: भूमिका (system/user/tool/CoT) को प्रति-टोकन एनकोड करने के लिए अतिरिक्त embedding आयाम या modifier vectors जोड़ना, positional embeddings के समान।
- इसके रूपांतरों में शामिल हैं:
- आंतरिक chain-of-thought के लिए टोकनों की डुप्लिकेशन।
- निर्देशात्मक segment embeddings और प्रति-टोकन source IDs।
- इन-बैंड टैग्स के बजाय explicit side-channel metadata का उपयोग।
- अन्य लोग चुनौतियों की ओर इशारा करते हैं: labeled training data की आवश्यकता, topic/source entanglement, और model performance घटने का जोखिम।
सुरक्षा, sandboxing, और सुरक्षित घटकों के रूप में LLMs की सीमाएँ
- मजबूत सहमति: वर्तमान LLMs कोई वास्तविक security boundary नहीं देते; APIs में roles formatting हैं, authorization नहीं।
- कुछ का तर्क है कि कोई भी ऐसा सिस्टम जो LLM को अपरिवर्तनीय कार्य करने दे, स्वाभाविक रूप से असुरक्षित है; अन्य कहते हैं कि सीमित, sandboxed उपयोग (जैसे classification, spam detection) स्वीकार्य हैं।
- session isolation पर चर्चा: सिद्धांत रूप में मॉडल stateless होते हैं, लेकिन context/KV-cache handling और web-session bugs अभी भी डेटा लीक कर सकते हैं।
- persistent agent memory को विशेष रूप से जोखिमपूर्ण बताया गया है: injected instructions को “self-authored” notes में धोया जा सकता है और बाद में उन पर अत्यधिक भरोसा किया जा सकता है।
क्लासिक sanitization और tags क्यों नाकाफी हैं
- टिप्पणीकार पूछते हैं कि tags को बस हटा या मजबूत क्यों न किया जाए। प्रतिक्रियाएँ:
- आधुनिक APIs अक्सर पहले से role boundaries के लिए unforgeable special tokens का उपयोग करती हैं।
- मूल समस्या यह है कि मॉडल शैली से roles का अनुमान लगाते हैं; tags के बिना भी, ऐसा user text जो chain-of-thought या system policy जैसा दिखता है, निर्देशों को ओवरराइड कर सकता है।
- prompt injection के static benchmarks की आलोचना की जाती है; adaptive attacks करने वाली human red-teaming कहीं अधिक प्रभावी है।
व्यापक विचार और संदेह
- कुछ लोग मानते हैं कि “theory” का लेबल कुछ ज्यादा है; अन्य कहते हैं कि यह परीक्षण योग्य भविष्यवाणियाँ और शोध दिशाएँ सुझाकर उस पदवी को अर्जित करता है।
- बार-बार यह चिंता सामने आती है कि प्रशिक्षण के जरिए मॉडलों को “secure” बनाना अक्सर उपयोगिता को तेज़ी से घटा देता है, फिर भी jailbreaks को पूरी तरह नहीं रोकता।