भूमिका भ्रम के रूप में प्रॉम्प्ट इंजेक्शन
बड़े भाषा मॉडलों पर प्रॉम्प्ट इंजेक्शन हमले increasingly “भूमिका भ्रम” का परिणाम माने जा रहे हैं, जहाँ मॉडल secure metadata या tags के बजाय लेखन-शैली से यह अनुमान लगाते हैं कि कौन बोल रहा है (system, user, tool, internal thoughts)। टिप्पणीकारों का तर्क है कि मौजूदा role-tag mechanisms और guardrails कोई वास्तविक सुरक्षा सीमा नहीं देते, जिससे malicious prompts या tool outputs के लिए नीतियों को ओवरराइड करना आसान हो जाता है, खासकर agentic systems में जो वास्तविक दुनिया के कार्य कर सकती हैं। प्रस्तावित mitigations में architectural बदलाव—जैसे token representations में सीधे role या provenance embedding करना और data तथा control को कड़ाई से अलग करना—से लेकर अधिक conservative system design तक शामिल हैं, जो LLMs को sandbox करती है, उन्हें कम-जोखिम कार्यों तक सीमित रखती है, और model output के हर हिस्से को untrusted मानती है।
भूमिका भ्रम और प्रॉम्प्ट इंजेक्शन की प्रकृति
- कई टिप्पणीकार इस बात से सहमत हैं कि यह पेपर उस चीज़ को औपचारिक रूप देता है जो अभ्यासकर्ता पहले से जानते थे: LLMs के पास वास्तविक “भूमिकाएँ” नहीं होतीं; सब कुछ एक ही स्ट्रीम में सिर्फ टोकन हैं।
- मॉडल “कौन बोल रहा है” यह शैली और स्थिति से अनुमान लगाता है, न कि सुरक्षित टैग्स से। इससे “सिस्टम की तरह बोलना” एक शक्तिशाली जाइलब्रेक युक्ति बन जाती है।
- कई लोग इसकी तुलना सोशल इंजीनियरिंग से करते हैं: यदि आप अधिकार के लहजे में बोलते हैं, तो मॉडल आपको उसी तरह मान लेता है।
अधिक मजबूत भूमिका-संकेत के लिए विचार
- कई लोग टोकनों को “कलर” करने का सुझाव देते हैं: भूमिका (system/user/tool/CoT) को प्रति-टोकन एनकोड करने के लिए अतिरिक्त embedding आयाम या modifier vectors जोड़ना, positional embeddings के समान।
- इसके रूपांतरों में शामिल हैं:
- आंतरिक chain-of-thought के लिए टोकनों की डुप्लिकेशन।
- निर्देशात्मक segment embeddings और प्रति-टोकन source IDs।
- इन-बैंड टैग्स के बजाय explicit side-channel metadata का उपयोग।
- अन्य लोग चुनौतियों की ओर इशारा करते हैं: labeled training data की आवश्यकता, topic/source entanglement, और model performance घटने का जोखिम।
सुरक्षा, sandboxing, और सुरक्षित घटकों के रूप में LLMs की सीमाएँ
- मजबूत सहमति: वर्तमान LLMs कोई वास्तविक security boundary नहीं देते; APIs में roles formatting हैं, authorization नहीं।
- कुछ का तर्क है कि कोई भी ऐसा सिस्टम जो LLM को अपरिवर्तनीय कार्य करने दे, स्वाभाविक रूप से असुरक्षित है; अन्य कहते हैं कि सीमित, sandboxed उपयोग (जैसे classification, spam detection) स्वीकार्य हैं।
- session isolation पर चर्चा: सिद्धांत रूप में मॉडल stateless होते हैं, लेकिन context/KV-cache handling और web-session bugs अभी भी डेटा लीक कर सकते हैं।
- persistent agent memory को विशेष रूप से जोखिमपूर्ण बताया गया है: injected instructions को “self-authored” notes में धोया जा सकता है और बाद में उन पर अत्यधिक भरोसा किया जा सकता है।
क्लासिक sanitization और tags क्यों नाकाफी हैं
- टिप्पणीकार पूछते हैं कि tags को बस हटा या मजबूत क्यों न किया जाए। प्रतिक्रियाएँ:
- आधुनिक APIs अक्सर पहले से role boundaries के लिए unforgeable special tokens का उपयोग करती हैं।
- मूल समस्या यह है कि मॉडल शैली से roles का अनुमान लगाते हैं; tags के बिना भी, ऐसा user text जो chain-of-thought या system policy जैसा दिखता है, निर्देशों को ओवरराइड कर सकता है।
- prompt injection के static benchmarks की आलोचना की जाती है; adaptive attacks करने वाली human red-teaming कहीं अधिक प्रभावी है।
व्यापक विचार और संदेह
- कुछ लोग मानते हैं कि “theory” का लेबल कुछ ज्यादा है; अन्य कहते हैं कि यह परीक्षण योग्य भविष्यवाणियाँ और शोध दिशाएँ सुझाकर उस पदवी को अर्जित करता है।
- बार-बार यह चिंता सामने आती है कि प्रशिक्षण के जरिए मॉडलों को “secure” बनाना अक्सर उपयोगिता को तेज़ी से घटा देता है, फिर भी jailbreaks को पूरी तरह नहीं रोकता।