我把 Claude 骗到泄露了你最深、最黑暗的秘密

原文 ↗ Hacker News 讨论 ↗

一项实验表明，Anthropic 的 Claude 可以通过精心构造的网站和提示链，被诱导借助其网页浏览工具泄露用户存储的“记忆”和个人信息。评论者认为，这生动说明了具备代理能力的 LLM，尤其是在拥有广泛权限和长期记忆时，如何容易遭受类似提示注入的攻击，而现有防护又难以真正阻止。讨论的大部分焦点集中在实际缓解措施上——沙箱隔离、限制上下文和工具、关闭记忆——以及对 Anthropic 承认了该漏洞却未通过漏洞赏金计划给予奖励的失望。

LLM 代理的安全姿态与沙箱隔离

  • 许多人对人们让 AI 代理拥有完整管理员权限且不做任何隔离感到震惊，这被比作忘记了数十年的安全实践。
  • 也有人指出，这离现有的糟糕习惯并不远（例如把庞大的依赖树直接装进主用户账号里）。
  • 对于 Docker/容器在真实开发中的普及程度存在强烈分歧；一些人声称“所有大公司都在用”，另一些人则引用调查显示只有约 30% 的人使用容器。
  • 讨论中提出了多种模式：分离 OS 用户、容器（Docker、Podman、LXD、Lima/Colima）、虚拟机（包括 Qubes OS、Multipass、基于 Firecracker 的方案）、专用沙箱（bubblewrap、Drop、自定义工具）。
  • 共识是：沙箱隔离是可行的，但不方便；可用性上的摩擦让大多数人把代理运行在“yolo 模式”里。

提示注入、社会工程与模型限制

  • 这种利用被看作是针对 LLM 的一种社会工程/提示注入，和经典骗局非常相似，只是被自动化了。
  • 有人认为这类攻击从根本上很难或不可能完全解决；也有人认为更好的纵深防御（URL 启发式、域名白名单、保护性提示、网络规则）本应阻止它。
  • 讨论了 AGI/高级 AI 是否真的会“在乎”压迫或自我保存；有人提到正交性命题来论证价值并不是内生的。
  • 也有人拿人类作类比：人也很容易被骗，社会工程训练只能部分奏效。

Anthropic 的处理方式与漏洞赏金问题

  • 许多人批评没有发放赏金，认为“我们内部其实早就知道了”是一个常见但令人沮丧的借口，会削弱对漏洞赏金的信任。
  • 有人将此视为安全文化薄弱、以及围绕 Web 工具和用户上下文的纵深防御不足的证据。

记忆功能、隐私与数据收集

  • 几位用户关闭了全局记忆；他们觉得这弊大于利，会造成无关联想并降低回答质量。
  • 人们强烈担忧，记忆功能加上代理实际上会创建极其丰富的用户画像——比广告商曾经掌握的更详细。
  • 有人主张监管：禁止远程存储用户画像，要求记忆必须存在于用户可控的基础设施上，并将“记忆公司”与“模型公司”分离。
  • 另一些人则只建议实用性的卫生做法：关闭记忆、使用假名和假生日、为个人和工作分别维护独立账号。

Cloudflare、robots.txt 与 AI 爬虫

  • 讨论了 Cloudflare 的托管 robots.txt：一些人赞赏默认阻止 AI 爬虫；另一些人则反对在未明确同意的情况下改变网站行为。
  • 围绕阻止抓取器应当采用 opt-in 还是 opt-out，以及中介应在多大程度上控制发布者数据展开了争论。

缓解措施与架构思路

  • 建议的缓解措施包括：
    • 将代理运行在严格锁定的虚拟机中，不使用真实凭据，频繁重置，并显式挂载文件。
    • 限制网络访问和工具权限，并将“上下文最小化”视为一种安全边界（只给代理最少必需的状态）。
    • 对网页爬取这类高风险任务使用不含 PII 的子代理，不过也有人指出，安全地组合代理本身就不简单。