Anthropic द्वारा खोजी गई कमजोरियों पर नज़र
Anthropic के Glasswing/Mythos जैसे AI systems कथित तौर पर open source और proprietary software में tens of thousands of vulnerability findings उत्पन्न कर रहे हैं, लेकिन उनमें से केवल एक छोटा हिस्सा ही ठीक किया जा रहा है या स्पष्ट रूप से exploited हो रहा है, जिससे impact, prioritization, और marketing hype पर सवाल उठते हैं। टिप्पणीकार कई reports में उच्च false-positive और low-severity rates, साथ ही पहले से stretched maintainers पर पड़ने वाले बोझ को उजागर करते हैं, जबकि अन्य कहते हैं कि इन tools ने बड़ी कंपनियों के भीतर गंभीर, non-public flaws खोजी हैं। व्यापक तनाव यह है कि क्या frontier models security में वास्तव में सुधार कर रहे हैं या मुख्यतः human teams को noise से overwhelmed कर रहे हैं, और सीमित capacity के साथ issues को verify और remediate करने की जरूरत के बीच शुरुआती detection को कैसे संतुलित किया जाए।
Glasswing / Mythos निष्कर्षों का समग्र प्रभाव
- कई लोग सार्वजनिक आँकड़ों (≈38k निष्कर्ष, ≈7k सार्वजनिक, ≈200 ठीक किए गए) को इस रूप में देखते हैं कि AI मुद्दे खोजने में तो बहुत बेहतर है, लेकिन सुधार उत्पन्न करने या remediation क्षमता बढ़ाने में नहीं।
- दूसरों का तर्क है कि यह एक पक्षपाती कट: “लेज़र” ज़्यादातर समन्वित disclosure के तहत OSS है, जबकि Glasswing का मुख्य उपयोग proprietary code के विरुद्ध है, जहाँ fixes को कथित तौर पर अंदरूनी तौर पर triage करके लागू किया जाता है।
- कई लोग ध्यान दिलाते हैं कि “wild में exploited” वाला मीट्रिक यहाँ खराब proxy है, क्योंकि शुरुआती discovery का उद्देश्य ही exploitation को पहले ही रोकना है।
PHP2Shell और “catastrophic exploit” की अपेक्षाएँ
- PHP vulnerability को लेकर लंबी बहस हुई: कुछ लोग इसे नाटकीय लेकिन संभालने योग्य bug कहते हैं; अन्य तर्क देते हैं कि यह गंभीर थी, कम आँकी गई थी, और शुरुआती skeptical blog post ने इसे ठीक से कवर नहीं किया।
- “stealmybitcoin” experiment (एक vulnerable PHP server जिसमें private key थी) एक दिन से भी कम समय में successfully exploited हुआ, apparently एक AI agent का उपयोग करके, और इसे exploitability के प्रमाण के रूप में उद्धृत किया गया।
- फिर भी, PHP-चालित बड़े पैमाने की breaches की कोई स्पष्ट “apocalypse” नहीं हुई है, और इसके लिए तेज़ emergency patching से लेकर वास्तविक-world exploit complexity तक कई व्याख्याएँ दी जाती हैं।
गुणवत्ता, false positives, और maintainer पर बोझ
- कई maintainers उच्च false-positive rates या “तकनीकी रूप से सही लेकिन व्यावहारिक रूप से कम-प्रभावी” मुद्दों की रिपोर्ट करते हैं, खासकर OSS scanner से; बताए गए आँकड़े ~50% false positives से लेकर केवल ~30% वास्तव में महत्वपूर्ण तक हैं।
- अन्य लोग इसके उलट बताते हैं: ऐसे batches जिनमें हर finding एक real bug थी, test cases उत्कृष्ट थे, लेकिन patches को human refinement की ज़रूरत थी।
- सटीक होने पर भी, AI reports अक्सर पहले से ज्ञात bugs, छोटे hardening issues, या पहले से चर्चा किए गए problems को फिर से सामने लाती हैं, जिससे security लाभ के अनुपात में triage load बढ़ जाता है।
Fixes, patches, और workflow
- टिप्पणी करने वाले नोट करते हैं कि models patches बना सकते हैं, और कुछ Anthropic tooling पहले से ही सुझाए गए fixes भेजता है।
- Maintainers अक्सर इन patches में से कई को कम गुणवत्ता वाला या जोखिम भरा पाते हैं, और कहते हैं कि इन्हें review करना scratch से fix लिखने जितना ही महँगा हो सकता है।
- इस बात को लेकर व्यापक चिंता है कि AI-generated “slop findings” सीमित OSS maintainer समय को overwhelms करते हैं, जिससे बेहतर exploitability/risk scoring और prioritization की आवश्यकता बढ़ जाती है।
व्यापक सुरक्षा परिदृश्य
- कई उद्योग engineers कहते हैं कि Mythos-class models ने private codebases में बड़ी संख्या में गंभीर issues खोजी हैं, जिन पर कभी CVE या blog post नहीं आएँगे।
- कुछ लोग LLMs के कई “low-severity” flaws को जोड़कर वास्तविक exploits बनाने की चिंता जताते हैं; अन्य इस बात पर ज़ोर देते हैं कि कई breaches अब भी exotic 0-days से नहीं, बल्कि human error से होते हैं।
- स्वयं लेख को व्यापक रूप से vendor के business model (vuln prioritization) के अनुरूप माना जाता है, इसलिए कुछ लोग इसके नकारात्मक framing को आंशिक रूप से marketing-driven मानते हैं।