AI-संचालित भेद्यता खोज के लिए Anthropic का ओपन-सोर्स फ्रेमवर्क

मूल लेख ↗ Hacker News चर्चा ↗

प्रोजेक्ट की स्थिति और उद्देश्य

  • रिपो को स्पष्ट रूप से “not maintained” बताया गया है और इसे समर्थित टूल से अधिक एक रेफ़रेंस हार्नेस के रूप में रखा गया है।
  • कई टिप्पणीकार इसे मुख्यतः एक व्यावसायिक “Claude Security” / managed scanning ऑफ़रिंग के लिए मार्केटिंग के रूप में देखते हैं।
  • अन्य लोग इसे एक pattern library के रूप में पेश करते हैं: पहले अध्ययन करने के लिए उपयोगी, फिर सीधे अपनाने के बजाय आंतरिक रूप से पुनः बनाना या अनुकूलित करना।

लागत और स्केलेबिलिटी

  • प्रति agent token उपयोग अधिक है; पूर्ण-codebase scans, खासकर top-tier models (Opus/Mythos) के साथ, महंगे माने जाते हैं।
  • कुछ लोगों का तर्क है कि आप केवल समय-समय पर full scans और CI में diffs चलाएँगे, लेकिन अन्य नोट करते हैं कि कई संगठन हर sprint में ship करते हैं, जिससे recurring cost बहुत बड़ा हो जाता है।
  • लागत की तुलना अलग-अलग है: कुछ कहते हैं कि एक dedicated security hire सस्ता पड़ सकता है; अन्य रिपोर्टों का हवाला देते हैं जिनमें कहा गया है कि AI-based scanning कई engineers के बराबर हो सकती है, जिससे traditional audits की तुलना में यह “pennies on the dollar” लगती है।
  • बाहरी calculators का संदर्भ दिया गया है जो दिखाते हैं कि 100+ dev teams के लिए, यदि भारी उपयोग हो, तो annual token spend multi-million–dollar तक पहुँच सकता है।

प्रभावशीलता, false positives, और workflow

  • well-designed harness के बिना, लोग खराब परिणाम और बहुत सारे false positives रिपोर्ट करते हैं (“vibe auditing”)।
  • harness होने पर भी, findings के लिए expert review और triage ज़रूरी है, वरना developers noise में डूब जाते हैं, ठीक आज के linters और SAST की तरह।

हमलावरों, रक्षकों, और मौजूदा tools पर प्रभाव

  • कुछ लोग इसे पारंपरिक SAST vendors के लिए संभावित existential threat या eventual feature मानते हैं।
  • अन्य लोग नोट करते हैं कि attackers भी वही models इस्तेमाल कर सकते हैं, जिससे vulnerability discovery एक “proof-of-work” arms race बन जाती है, लेकिन इस बात पर ज़ोर देते हैं कि bugs पहले से मौजूद थे।
  • चिंताओं में high-severity reports की बाढ़ शामिल है, जो maintainers और bug-bounty programs को overwhelm कर सकती है।

AI-generated code और security lifecycle

  • कई लोग कहते हैं कि अब code को secure करने में, उसे generate करने की तुलना में, कहीं अधिक tokens लगते हैं।
  • इस बात पर skepticism है कि AI vendors पहले “sloppy” code generate करने के लिए और फिर उसे scan/fix करने के लिए प्रभावी ढंग से charging कर रहे हैं।
  • कुछ का तर्क है कि models को secure code output करने के लिए train किया जाना चाहिए, लेकिन अन्य जवाब देते हैं कि गंभीर bugs अक्सर बड़े, dependency-heavy codebases में फैलते हैं, जिन्हें हर edit पर पूरी तरह reason नहीं किया जा सकता।

Business model और ecosystem पर बहसें

  • raw tokens बनाम vertical SaaS बेचने पर बहस:
    • एक पक्ष का दावा है कि यदि tokens सचमुच जादुई होते, तो vendors उन्हें hoard करते और सीधे industries पर dominate करते।
    • अन्य कहते हैं कि infrastructure बेचना (जैसे fabs या tractors) फिर भी optimal हो सकता है, और end-user SaaS बनाना एक अलग, distraction-heavy business है।
  • कुछ लोग security harnesses को एक व्यापक बदलाव का हिस्सा मानते हैं: AI कंपनियाँ domain-specific harnesses (design, security, आदि) को packaged products में बदल रही हैं।

Open source harnesses और “shop jig” tools

  • कई वैकल्पिक या समान tools का उल्लेख किया गया है; कुछ antivirus ट्रिगर करते हैं और मुख्यतः उन practitioners के लिए हैं जो इसके साथ सहज हैं।
  • एक recurring analogy इन frameworks की तुलना “shop jigs” से करती है: custom tooling जो किसी टीम या व्यक्ति के workflow के अनुरूप होता है, और अक्सर off-the-shelf की बजाय in-house बनाना बेहतर होता है।
  • टिप्पणीकार ऐसे harnesses को jobs के बीच portable बनाने, या संगठनों के भीतर साझा करके team-wide productivity floor बढ़ाने पर चर्चा करते हैं।
  • एक व्यापक थीम यह है कि AI bespoke tooling को इतना सस्ता बना देता है कि generalized libraries/harnesses increasingly direct dependencies के बजाय inspiration के रूप में उपयोग किए जाते हैं।

विश्वास, नामकरण, और व्यावहारिक चिंताएँ

  • GitHub account name (“Anthropics” बनाम “Anthropic”) को लेकर भ्रम बार-बार सामने आता है।
  • कुछ लोग प्रोजेक्ट को “open-source glue to an LLM blob” कहकर खारिज करते हैं या आलोचना करते हैं कि यह unmaintained है और contributions के लिए closed है।
  • कुछ लोग source code को remote LLMs को भेजने या specific browsers/search engines द्वारा gated होने पर अविश्वास व्यक्त करते हैं।