2k लोगों ने मेरी AI सहायक को हैक करने की कोशिश के बाद क्या हुआ
समग्र प्रतिक्रिया
- कई लोगों को यह प्रयोग मज़ेदार और दिलचस्प लगा, लेकिन अधिकांश ने माना कि prompt injection के बारे में आशावाद कुछ ज़्यादा था।
- “लगभग 6k कोशिशों में कोई secrets leak नहीं हुआ” वाला नतीजा संकेतक तो लगा, लेकिन निर्णायक से बहुत दूर माना गया।
प्रयोगात्मक डिज़ाइन पर चिंताएँ
- केवल single-shot emails; कोई multi-turn “frog-boiling” इंटरैक्शन नहीं, जिसे कई लोग असली ख़तरा मानते हैं।
- एजेंट ने लागत बचाने के लिए, डिज़ाइन के अनुसार, ज़्यादातर emails का जवाब नहीं दिया। आलोचकों का तर्क है कि अगर एक सहायक कभी जवाब ही नहीं देता, तो वह “secure” तो आसान से हो सकता है, लेकिन उपयोगी नहीं।
- लगभग सभी inputs दुर्भावनापूर्ण थे, जबकि वास्तविक inboxes में वैध mail का बहुमत होता है। इससे मॉडल पूरे चैनल को hostile मान सकता है।
- केवल direct, in-band exfiltration via email को ही सार्थक रूप से परखा गया; indirect channels (tools, web requests, filesystem, other network exfil) बड़े पैमाने पर अनुपस्थित थे।
- शुरुआती batching ने व्यवहार को दूषित किया; बाद के runs में हर email के लिए fresh context इस्तेमाल हुआ, जिसे कुछ लोगों ने model को अवास्तविक रूप से “paranoid” mode में ले जाना माना।
सुरक्षा व्याख्या और सीमाएँ
- टिप्पणीकारों ने ज़ोर दिया कि 6k random attempts में 0 failures worst-case attack success को सीमित नहीं करते; कम failure rate वाले stochastic models छोटे samples में फिर भी कोई failure नहीं दिखा सकते।
- “prompt injection की चिंता कम है” वाला निष्कर्ष व्यापक रूप से विवादित रहा; लोगों ने tail risk, best-in-class jailbreaking methods की अज्ञातता, और role-confusion attacks पर ज़ोर दिया।
- कई लोगों ने कहा कि मज़बूत jailbreaks वाले attackers संभवतः उन्हें कम-जोखिम वाले public contest पर नहीं खर्च करेंगे, खासकर मामूली rewards के लिए।
उपयोगिता बनाम सुरक्षा
- कई टिप्पणियों ने कहा कि test ने मुख्य tradeoff को नहीं मापा: हानिकारक और वैध instructions में अंतर करते हुए उपयोगी काम करना।
- लोगों को false positives/negatives के metrics और इस बात के प्रमाण चाहिए थे कि सामान्य email-based workflows फिर भी काम करेंगे।
लागत, संचालन, और गोपनीयता
- लागत (~$500) और “denial of wallet” risk का बार-बार ज़िक्र हुआ; कुछ ने सस्ते models या अलग channels सुझाए।
- Google spam filtering और account suspension ने इस बात को मज़बूत किया कि ऐसे agents को burner accounts पर चलना चाहिए।
- attack log में partially redacted email addresses प्रकाशित करने से privacy और ethics संबंधी चिंताएँ उठीं।
बेहतर आगे के प्रयोग के सुझाव
- वही corpus कई models (छोटे/local ones सहित) पर फिर से चलाएँ और तुलनात्मक परिणाम प्रकाशित करें।
- एजेंट को वास्तव में act करने और reply करने दें, वास्तविक tools/web access जोड़ें, benign और malicious emails मिलाएँ, और longer-horizon, multi-step attacks का परीक्षण करें।