Anthropic 的面向 AI 驱动漏洞发现的开源框架

原文 ↗ Hacker News 讨论 ↗

项目状态与目的

  • 该仓库明确标注为“not maintained”，更像是一个参考性脚手架，而不是受支持的工具。
  • 一些评论者认为它主要是在为商业化的“Claude Security”/托管扫描产品做营销。
  • 另一些人将其视为模式库：适合学习，然后在内部重新实现或改造，而不是直接采用。

成本与可扩展性

  • 每个 agent 的 token 使用量很高；对完整代码库的扫描，尤其是使用顶级模型（Opus/Mythos）时，被认为成本昂贵。
  • 有人认为你只会定期运行全量扫描，并在 CI 中做 diff 扫描，但也有人指出许多组织每个 sprint 都会发布，因此持续成本会非常高。
  • 成本比较各不相同：有人说专职安全工程师可能更便宜；也有人引用报告称，基于 AI 的扫描可以达到许多工程师的水平，使其相较传统审计是“pennies on the dollar”。
  • 还提到外部计算器显示，如果高强度使用，拥有 100+ 开发团队时年度 token 支出可能达到数百万美元。

有效性、误报与工作流

  • 如果没有设计良好的脚手架，人们报告结果很差，而且误报很多（“vibe auditing”）。
  • 即便有脚手架，发现结果仍需要专家审查和分流，否则开发者会被噪音淹没，这和今天的 linters 和 SAST 很像。

对攻击者、防守者与现有工具的影响

  • 有人认为这可能对传统 SAST 厂商构成生存威胁，或者最终成为其功能之一。
  • 也有人指出攻击者可以使用同样的模型，把漏洞发现变成一场“proof-of-work”军备竞赛，但强调这些 bug 本来就已经存在。
  • 担忧包括大量高严重性报告涌入，压垮维护者和漏洞赏金计划。

AI 生成代码与安全生命周期

  • 很多人指出，现在修复代码所需的 token 比生成代码更多。
  • 对 AI 厂商实际上先收钱生成“sloppy”代码，再收钱扫描/修复它，持怀疑态度。
  • 有人认为模型应该被训练成输出安全代码，但另一些人回应说，严重漏洞往往横跨大型、依赖繁重的代码库，无法在每次编辑时都完全推理清楚。

商业模式与生态争论

  • 围绕为什么厂商出售原始 token 而不是垂直 SaaS 展开争论：
    • 一方认为，如果 token 真那么神奇，厂商会囤积它们并直接主宰各个行业。
    • 另一方反驳说，出售基础设施（比如晶圆厂或拖拉机）也可能是最优选择，而构建面向终端用户的 SaaS 是另一种会分散注意力的业务。
  • 有人认为 security harness 是更大转变的一部分：AI 公司把面向特定领域的 harness（设计、安全等）打包成产品。

开源 harness 与 “shop jig” 工具

  • 文中提到多个替代或相似工具；其中一些会触发杀毒软件，主要适合对此类工具很熟悉的从业者。
  • 一个反复出现的类比把这些框架比作“shop jigs”：为团队或个人工作流定制的工具，通常更适合在内部自建，而不是直接购买现成方案。
  • 评论者讨论了如何让这类 harness 在不同工作之间可移植，或在组织内部共享，以提升整个团队的生产力下限。
  • 更广泛的主题是：AI 让定制工具变得非常便宜，因此通用库/harness 越来越多地被用作灵感来源，而不是直接依赖。

信任、命名与实际顾虑

  • 围绕 GitHub 账号名称（“Anthropics” vs “Anthropic”）的混淆反复出现。
  • 一些人把该项目斥为“open-source glue to an LLM blob”，或者批评它未维护且不接受贡献。
  • 也有人对将源代码发送给远程 LLM，或被特定浏览器/搜索引擎作为门槛，表示不信任。