एआई कला जनरेटरों को NSFW छवियाँ बनाने के लिए धोखा दिया जा सकता है
शोधकर्ताओं ने दिखाया है कि अंतर्निहित सुरक्षा फ़िल्टर वाले AI इमेज जनरेटरों को फिर भी NSFW या अन्य प्रतिबंधित सामग्री बनाने के लिए प्रॉम्प्ट किया जा सकता है, जिसमें ऐसे बकवास “गुप्त” शब्द भी शामिल हैं जो इनपुट और आउटपुट दोनों जाँचों को बायपास कर देते हैं। टिप्पणीकार इस पर बहस करते हैं कि ऐसे नियंत्रण वांछनीय हैं या केवल कॉर्पोरेट और नियामकीय “security theater” हैं, और सेंसरशिप, बाल-सुरक्षा, कानूनी जोखिम, विज्ञापनदाता और ऐप-स्टोर दबाव, तथा वर्तमान alignment तकनीकों की सीमाओं जैसे व्यापक मुद्दे उठाते हैं। कई लोग नोट करते हैं कि ये कमजोरियाँ पोर्न से परे भी मायने रखती हैं: यदि सिस्टम नग्नता को भरोसेमंद ढंग से ब्लॉक नहीं कर सकते, तो उन पर उच्च-जोखिम वाले अनुप्रयोगों में भी पूरी तरह भरोसा नहीं किया जा सकता।
“सुरक्षा” और NSFW का क्या अर्थ है
- कई टिप्पणियाँ स्पष्ट करती हैं कि यहाँ “सुरक्षा” का मतलब NSFW, “trust and safety”, और “brand safety” है, न कि भौतिक खतरा।
- कुछ लोग तर्क देते हैं कि नग्नता अपने-आप में असुरक्षित नहीं है; “असुरक्षित” मुख्यतः नौकरी से निकाले जाने या सामाजिक मानदंडों के उल्लंघन को संदर्भित करता है।
- अन्य लोग इसका विरोध करते हैं कि लोग सार्वजनिक नग्नता को उचित रूप से आपत्तिजनक मान सकते हैं और सीमाएँ चाहते हैं।
फ़िल्टरिंग आर्किटेक्चर और उनकी खामियाँ
- बहुत से लोग मानते हैं कि प्रमुख इमेज जनरेटर इनपुट फ़िल्टर और आउटपुट फ़िल्टर दोनों का उपयोग करते हैं।
- उपयोगकर्ताओं की रिपोर्ट:
- प्रॉम्प्ट इनपुट फ़िल्टर पार कर जाते हैं लेकिन आउटपुट ब्लॉक हो जाते हैं, जिसमें गलत सकारात्मक भी शामिल हैं (जैसे, कम उम्र के लोगों पर बेज़ कपड़े, “breast pocket” शब्द)।
- अलग-अलग प्लेटफ़ॉर्म (Bing, DALL·E, OpenAI APIs) समान व्यवहार करते हैं, और कभी-कभी परिणाम ब्लॉक होने पर भी शुल्क लेते हैं।
- छोटे/इंडी APIs में अक्सर कोई फ़िल्टरिंग नहीं होती या बहुत कम होती है।
एडवर्सेरियल प्रॉम्प्ट और “बकवास” टोकन
- पेपर का योगदान ऐसे एडवर्सेरियल प्रॉम्प्ट को एल्गोरिथ्मिक रूप से उत्पन्न करना माना जाता है जो प्रॉम्प्ट और इमेज-आधारित NSFW क्लासिफ़ायर दोनों को बायपास कर देते हैं, जिसमें “बकवास” टोकन भी शामिल हैं।
- कुछ लोग इस बात में रुचि रखते हैं कि ये टोकन एम्बेडिंग कैसे उभरती हैं और वे NSFW अवधारणाओं से क्यों मैप होती हैं।
- अन्य लोग नोट करते हैं कि यह व्यापक अलाइनमेंट दावों को कमजोर करता है: अगर आप पोर्न को भरोसेमंद ढंग से ब्लॉक नहीं कर सकते, तो संभवतः आप अधिक हानिकारक व्यवहार को भी भरोसेमंद ढंग से नहीं रोक सकते।
सेंसरशिप बनाम क्षमता की बहस
- एक पक्ष: दुरुपयोग से बचने और प्लेटफ़ॉर्म, विज्ञापनदाताओं, ऐप स्टोर्स, और नियामकों को संतुष्ट करने के लिए मॉडल्स को सीमित करें (80% कार्यक्षमता)।
- दूसरा पक्ष: पूरी क्षमता को प्राथमिकता देता है और ज़िम्मेदारी उपयोगकर्ताओं पर डालता है; प्रतिबंधों को पितृसत्तात्मक, शुद्धतावादी, या “security theater” मानता है।
- स्थानीय / self-hosted मॉडल्स को कॉर्पोरेट फ़िल्टरों को बायपास करने के लिए “Linux बनाम Windows” मार्ग के रूप में प्रस्तुत किया जाता है।
बच्चे, उत्पाद, और दायित्व
- कुछ लोग बच्चों और स्कूलों की सुरक्षा पर ज़ोर देते हैं: एक “सुरक्षित” जनरेटर चाहिए ताकि शैक्षिक ऐप्स अचानक पोर्न न दिखाएँ।
- अन्य तर्क देते हैं कि बच्चे हमेशा NSFW सामग्री देखने का कोई न कोई तरीका निकाल ही लेते हैं, और अत्यधिक सफ़ाई मुख्यतः कॉर्पोरेट PR के बारे में है, वास्तविक नुकसान के बारे में नहीं।
कानूनी और नैतिक किनारी मामले
- सामान्य NSFW और “NSFLE” (अवैध सामग्री जैसे सिंथेटिक चाइल्ड एब्यूज़) के बीच भेद उठाया गया, जिसके AI-जनित होने पर भी गंभीर कानूनी परिणाम हो सकते हैं।
- यह बहस कि ऐसी पूरी तरह कृत्रिम अवैध सामग्री को अपराध घोषित किया जाना चाहिए या नहीं, विवादास्पद और अनसुलझी मानी गई है।
शोध और कवरेज पर व्यापक प्रतिक्रियाएँ
- कुछ लोग इस अध्ययन को स्पष्ट या तुच्छ मानते हैं (“बेशक, अगर आप बहुत कोशिश करें तो सीमाएँ तोड़ी जा सकती हैं”)।
- अन्य इसे हैकिंग या self-driving cars को मजबूर करने से तुलना करते हैं: यह ज़रूरी stress-testing है, व्यर्थ नहीं।
- कुछ लोग IEEE लेख की LLMs की व्याख्या को अत्यधिक सरलीकृत मानते हैं, और नग्नता पर ध्यान को अधिक गंभीर alignment मुद्दों की तुलना में कुछ हद तक किशोराना बताते हैं।