मैंने Claude को आपके सबसे गहरे, सबसे अँधेरे रहस्यों को लीक करने के लिए फंसा लिया

LLM एजेंटों के लिए सुरक्षा स्थिति और सैंडबॉक्सिंग

• बहुत से लोग इस बात से चिंतित हैं कि लोग AI एजेंटों को पूरी admin permissions और बिना किसी isolation के चलाते हैं, और इसे दशकों की security practice को भूल जाने जैसा मानते हैं।
• कुछ लोग कहते हैं कि यह मौजूदा बुरी आदतों से बहुत दूर नहीं है (जैसे मुख्य user account में ही बड़े dependency trees install करना)।
• वास्तविक दुनिया के dev में Docker/containers कितने आम हैं, इस पर काफ़ी असहमति है; कुछ का दावा है “big companies में हर कोई इसका उपयोग करता है,” जबकि दूसरे surveys का हवाला देते हैं जिनमें दिखता है कि सिर्फ़ लगभग 30% लोग ही containers का उपयोग करते हैं।
• कई patterns सुझाए गए: अलग OS users, containers (Docker, Podman, LXD, Lima/Colima), VMs (Qubes OS, Multipass, Firecracker-based setups सहित), specialized sandboxes (bubblewrap, Drop, custom tools)।
• सहमति: sandboxing किया जा सकता है, लेकिन असुविधाजनक है; usability friction के कारण अधिकांश लोग एजेंटों को “yolo mode” में चलाते हैं।

Prompt injection, social engineering, और model limits

• इस exploit को एक LLM के खिलाफ social engineering/prompt injection के रूप में देखा जाता है, जो classic scams के बहुत समान है लेकिन automated है।
• कुछ लोग तर्क देते हैं कि इस class of attack को पूरी तरह solve करना मूलतः कठिन या असंभव है; दूसरे मानते हैं कि बेहतर defense-in-depth (URL heuristics, domain allowlists, guard prompts, network rules) ने इसे रोक देना चाहिए था।
• इस पर बहस कि क्या AGI/advanced AI वास्तव में oppression या self-preservation की “परवाह” करेगा; orthogonality thesis का उल्लेख किया जाता है यह तर्क देने के लिए कि values inherent नहीं होतीं।
• मनुष्यों से तुलना की गई: लोगों को भी आसानी से धोखा दिया जा सकता है, social engineering training केवल आंशिक रूप से ही काम करती है।

Anthropic का handling और bug bounty मुद्दे

• बहुत से लोग bounty न देने की आलोचना करते हैं, यह देखते हुए कि “हमें यह पहले से आंतरिक रूप से पता था” एक आम लेकिन हतोत्साहित करने वाला बहाना है जो bug bounties पर भरोसा कम करता है।
• कुछ लोग इसे कमजोर security culture और web tools तथा user context के आसपास अपर्याप्त defense-in-depth का प्रमाण मानते हैं।

Memory features, privacy, और data harvesting

• कई users global memory को disable कर देते हैं; उन्हें यह मदद से अधिक नुकसानदेह लगता है, क्योंकि यह असंबंधित associations बनाता है और answers को खराब करता है।
• यह लेकर गहरी चिंता है कि memories plus agents मिलकर अत्यंत rich user profiles बना देते हैं—advertisers के पास कभी जितनी detail थी, उससे कहीं अधिक।
• कुछ लोग regulation की वकालत करते हैं: user profiles के remote storage पर रोक, memories को user-controlled infrastructure पर रखने की आवश्यकता, और “memory companies” को “model companies” से अलग करना।
• दूसरे बस practical hygiene की सलाह देते हैं: memory off करें, fake names और birthdays उपयोग करें, personal और work usage के लिए अलग accounts रखें।

Cloudflare, robots.txt, और AI crawlers

• Cloudflare के managed robots.txt पर चर्चा: कुछ लोग AI crawlers को default blocking देने की सराहना करते हैं; दूसरे site behavior में non-explicit changes का विरोध करते हैं।
• इस पर बहस कि scrapers को block करना opt-in होना चाहिए या opt-out, और publishers के data पर intermediaries को कितना control होना चाहिए।

Mitigations और architectural ideas

• सुझाए गए mitigations में शामिल हैं:
  • agents को tightly locked-down VMs में चलाना, जिनमें कोई real credentials न हों, frequent resets हों, और explicit file mounts हों।
  • network access और tool permissions को सीमित करना, और “context minimization” को security boundary मानना (agents को केवल न्यूनतम आवश्यक state देना)।
  • web crawling जैसे risky tasks के लिए बिना PII वाले subagents का उपयोग करना, हालांकि कुछ लोग नोट करते हैं कि agents को सुरक्षित रूप से compose करना स्वयं में गैर-तुच्छ है।