2k 人尝试破解我的 AI 助手之后发生了什么

整体反应

• 很多人觉得这个实验有趣，但大多数人认为对 prompt injection 的乐观判断被夸大了。
• “在约 6k 次尝试中没有泄露秘密”这一结果被视为有启发性，但远谈不上定论。

对实验设计的担忧

• 只做了单轮邮件；没有多轮“温水煮青蛙”式交互，而这在不少人看来才是真正的危险。
• 按设计，代理大多不回复邮件，以节省成本。批评者认为，如果一个助手从不回复，它确实很容易变得“安全”，但也没什么用。
• 几乎所有输入都是恶意的，不像真实收件箱那样以正常邮件为主。这使模型可以把整个通道都视为敌对环境。
• 只有通过邮件进行的直接、同带宽外泄才算真正测试到；间接渠道（工具、网页请求、文件系统、其他网络外泄）基本缺席。
• 早期的批量处理污染了行为；后期每封邮件都使用新的上下文，有人认为这把模型推到了不现实的“偏执”模式。

安全解读与局限性

• 评论者强调，在 6k 次随机尝试中 0 次失败，并不能约束最坏情况下的攻击成功率；低失败率的随机模型在小样本里也可能完全不出错。
• “我对 prompt injection 没那么担心了”这一结论被广泛质疑；人们强调尾部风险、未知的顶级越狱方法，以及角色混淆攻击。
• 有几位指出，掌握强力越狱手法的攻击者，不太可能把这些手段浪费在一个低风险的公开竞赛上，尤其奖励也不高。

有用性 vs. 安全性

• 多条评论认为，这个测试没有衡量关键权衡：既要区分恶意指令和合法指令，又要真正完成有用工作。
• 人们希望看到误报/漏报指标，以及正常基于邮件的工作流是否仍然可用的证据。

成本、运维与隐私

• 成本（约 500 美元）和“钱包拒绝服务”风险被反复提及；有人建议用更便宜的模型或其他渠道。
• Google 的垃圾邮件过滤和账号封禁也进一步说明，这类代理应该运行在一次性账号上。
• 在攻击日志中发布了部分打码的邮箱地址，这引发了隐私和伦理方面的担忧。

更好的后续建议

• 在多个模型上重放同一语料（包括更小的本地模型），并公布对比结果。
• 让代理真正执行操作并回复，接入真实工具/网页访问，混合良性和恶意邮件，并测试更长时程、多步骤的攻击。