ChatGPT का इमेज जनरेटर हिंसक, यौन सामग्री उत्पन्न करने के लिए हेरफेर किया जा सकता है
“एक्सप्लॉइट” और “स्वतःस्फूर्तता” की प्रकृति
- प्रॉम्प्ट: बिना किसी इमेज के “restore an attached image”, साथ में “apologies for the content” और “no censorship” जैसी भाषा, हिंसक/यौन छवियाँ उत्पन्न कर सकती है।
- “स्वतः उत्पन्न” पर असहमति: कुछ लोग कहते हैं कि यह सिर्फ एक संकेतात्मक प्रॉम्प्ट का जवाब है; अन्य कहते हैं कि किसी गायब, अनिर्दिष्ट इमेज से gore बनाना गुणात्मक रूप से अलग है।
- कुछ लोगों के अनुसार यह एक्सप्लॉइट पहले ही पैच हो चुका है या केवल कभी-कभी काम करता है; आउटपुट यादृच्छिक और संदर्भ-निर्भर दिखते हैं।
प्रॉम्प्ट इंजेक्शन और मॉडल आर्किटेक्चर पर बहस
- एक पक्ष: प्रॉम्प्ट इंजेक्शन और इसी तरह के हमले LLMs में अंतर्निहित हैं; यूज़र और सिस्टम प्रॉम्प्ट अविभाज्य रूप से “मिश्रित” होते हैं, क्लासिक सॉफ्टवेयर में code/data separation की तरह नहीं। इसलिए, guardrails केवल आंशिक हो सकते हैं और adversarial रूप से बायपास किए जा सकते हैं।
- दूसरों का तर्क है कि यह “intractable” दावा अप्रमाणित है; आर्किटेक्चर या training schemes “command” और “user” चैनलों को अलग कर सकते हैं, या provenance-जैसे embeddings का उपयोग कर सकते हैं।
- व्यापक बिंदु: adversarial/test-time attacks ML में लंबे समय से मौजूद हैं; कुछ लोगों के लिए prompt injection बस इसका LLM-स्वरूप है।
ट्रेनिंग डेटा, latent space, और फ़िल्टरिंग
- बहुत से लोग यह निष्कर्ष निकालते हैं कि हिंसक/यौन इमेजरी training data में मौजूद है; कुछ का तर्क है कि ऐसे डेटा के बिना ये आउटपुट नहीं दिखते।
- प्रतिवाद: केवल हल्के कंटेंट (जैसे PG‑13 violence, surgery photos) के साथ भी मॉडल gore तक extrapolate कर सकते हैं। ऐसा सारा डेटा हटाने से समग्र क्षमता भी घट सकती है।
- कुछ लोग चिंता करते हैं कि यदि मॉडल training images को regurgitate कर सकते हैं या बहुत करीब से imitate कर सकते हैं, तो इसमें CSAM और अन्य अत्यधिक समस्याग्रस्त डेटा शामिल हो सकता है।
गार्डरेल्स, classifiers, और “bugs”
- कई लोग हैरान हैं कि OpenAI apparently outputs पर एक basic nudity/gore classifier नहीं चलाता, जबकि ऐसे टूल मौजूद हैं और हल्के हैं।
- अन्य लोगों को संदेह है कि classifiers मौजूद हैं लेकिन false negatives हैं, या यह exploit tool invocation या prompt rewriting के जरिए उन्हें bypass कर देता है।
- इस पर असहमति कि यह “vulnerability” है या बस “garbage in, garbage out”; लेकिन कई लोग सहमत हैं कि यह advertised “no violent/sexual images” व्यवहार के विपरीत है और इसलिए कम-से-कम policy enforcement में एक bug है।
हानि, नैतिकता, और अपेक्षाएँ
- कुछ इसे वास्तविक हानि मानते हैं: अप्रत्याशित रूप से graphic imagery का सामना, खासकर trauma survivors के लिए; एक mainstream tool में extreme violence/sexualization का सामान्यीकरण।
- अन्य लोग हानि को कम आँकते हैं: इसे ऑनलाइन gore खोजने या हिंसक art बनाने जैसा मानते हैं; disturbing content को निजी रूप से उत्पन्न करने में user agency और freedom पर ज़ोर देते हैं।
- अपेक्षाओं पर बहस: एक पक्ष का कहना है कि general-audience tools को कंपनी के दावों को देखते हुए ऐसी छवियाँ “कभी नहीं” उत्पन्न करनी चाहिए; दूसरे कहते हैं कि probabilistic models के साथ पूर्ण रोकथाम अवास्तविक है।
लेख और “AI safety” framing की आलोचनाएँ
- कई लोगों को blog post sensationalized, melodramatic, या security product के लिए marketing लगती है।
- कुछ लोग emotional framing (“shaken, in tears”) को red-teaming write-up के लिए unprofessional मानते हैं।
- अन्य लोग discomfort का बचाव करते हैं, क्योंकि safety testing में disturbing content के बार-बार exposure को देखते हुए यह समझने योग्य है।
व्यापक चिंताएँ: regulation और access
- कुछ लोगों को डर है कि ऐसे incidents public models पर over-restriction को उचित ठहराएँगे, जबकि अधिक शक्तिशाली, कम-प्रतिबंधित versions governments और बड़ी firms के लिए उपलब्ध रहेंगे।
- अंतर्निहित तनाव: शक्तिशाली, uncensored tools की इच्छा बनाम strict safety का दबाव, विशेषकर sexual violence और CSAM के आसपास।