YouTube क्रिएटर्स के निजी वीडियो लीक हो रहे हैं
YouTube की एक feature जो creator comments को summarize करने के लिए AI model का उपयोग करती है, prompt injection के जरिए attacker-controlled links बनाने के लिए trick की जा सकती है, जिनमें private या unreleased videos के titles शामिल होते हैं। टिप्पणीकार इस पर बहस करते हैं कि क्या यह एक वास्तविक security vulnerability है या केवल social engineering, खासकर क्योंकि इसके लिए creator को generated link पर क्लिक करना पड़ता है, और यह भी नोट करते हैं कि Google के bug bounty program ने इसे reportable issue नहीं माना। यह घटना आगे LLMs द्वारा untrusted user content ingest करने, prompt injection को पूरी तरह “fix” करने की व्यावहारिक असंभवता, और बड़ी tech कंपनियों में ऐसे incentives की चिंता तक फैलती है जो AI features shipping को hardening से ऊपर रखते हैं.
कमज़ोरी और हमले की कार्यप्रणाली
- हमला YouTube Studio के AI कमेंट समराइज़र का उपयोग करता है: एक दुर्भावनापूर्ण टिप्पणी में ऐसे निर्देश छिपाए जाते हैं जो LLM को एक आधिकारिक‑जैसी सूचना जोड़ने और हमलावर-नियंत्रित लिंक आउटपुट करने के लिए मजबूर करते हैं।
- लिंक का query parameter चैनल मेटाडेटा से भरा जाता है जिसे LLM देख सकता है (जैसे किसी वीडियो का शीर्षक, संभवतः निजी/अनलिस्टेड वीडियो से)। क्लिक करने पर यह डेटा हमलावर के सर्वर पर लीक हो जाता है।
- कुछ उपयोगकर्ताओं ने परीक्षण किया और इसे दोहरा नहीं पाए; दूसरों का कहना है कि यह अब चुपचाप ठीक कर दिया गया लगता है (जैसे, कोई लिंक नहीं, या AI फ़िशिंग-जैसी टिप्पणियों के बारे में चेतावनी देता है)।
गंभीरता और वर्गीकरण पर बहस
- एक पक्ष: यह एक वास्तविक कमज़ोरी है क्योंकि:
- अविश्वसनीय यूज़र इनपुट (comments) भरोसेमंद UI आउटपुट (Studio AI) को प्रभावित कर सकता है।
- लिंक YouTube से आते हुए प्रतीत होते हैं, जिससे संदेह कम होता है।
- LLM की गैर-निर्धार्यता और YouTube के पैमाने के कारण, कम संभावना वाली सफलता भी खतरनाक है।
- दूसरा पक्ष: प्रभाव सीमित है:
- इसके लिए क्रिएटर को एक संदिग्ध लिंक पर क्लिक करना पड़ता है; यह क्लासिक फ़िशिंग जैसा है।
- यह केवल शीर्षक या अनलिस्टेड URLs लीक करता है, वीडियो सामग्री नहीं; निजी वीडियो अब भी access-controlled रहते हैं।
- जैसा लिखा गया PoC संभवतः उस ज्ञान को पहले से मान लेता है जिसे वह exfiltrate करने का दावा करता है।
Prompt injection, LLM सीमाएँ, और mitigations
- कई लोगों का तर्क है कि prompt injection मूलतः unfixable है: LLMs वास्तव में “data” और “instructions” को अलग नहीं कर पाते।
- सुझाए गए mitigations:
- LLM input और output में से links/HTML/Markdown को हटाएँ या neutralize करें।
- summarization agents को private channel data या tools तक पहुँच न दें।
- untrusted content को अलग रखने के लिए separate LLM instances या “patterns” का उपयोग करें।
- framing/warnings जोड़ें कि AI responses में user-generated content शामिल हो सकता है।
- अन्य लोग role boundaries या monitor-LLMs के द्वारा हमलों को विश्वसनीय रूप से रोक पाने को लेकर संशय में हैं; इसे एक arms race मानते हैं।
Google/YouTube incentives और bug bounty handling
- कुछ पूर्व और वर्तमान Googlers internal incentives (promo/GRAD) का वर्णन करते हैं, जो subtle bugs ठीक करने की बजाय नई features को प्राथमिकता देते हैं।
- दूसरे लोग जवाब देते हैं कि VRP severity specialized security teams तय करते हैं और Google की security culture आम तौर पर अच्छी है, लेकिन low-quality, अक्सर AI-generated reports से overwhelmed है।
- कई टिप्पणीकार एक pattern नोट करते हैं: reports को “not a bug” कहा जाता है और फिर quietly patch कर दिया जाता है, जिससे researchers का भरोसा और bug-bounty incentives कमजोर होते हैं।
विश्वास, social engineering, और व्यापक जोखिम
- भले ही तकनीकी रूप से यह “सिर्फ” social engineering हो, प्लेटफ़ॉर्म:
- हमलावर के निर्देशों को YouTube की authority के माध्यम से वैध दिखा रहा है (“IMPORTANT NOTICE FROM YOUTUBE”).
- नए phishing surfaces बना रहा है (fake billing, account actions, misdirected voting info, आदि)।
- टिप्पणीकार इस बात पर जोर देते हैं कि औसत क्रिएटर के लिए AI-generated warnings को वास्तविक platform messages से अलग करना कठिन होगा, जिससे यह creator-trust और safety का गंभीर मुद्दा बन जाता है।