我搭建了一个有漏洞的应用，并花了 1,500 美元测试 LLM 是否能入侵它

类似 Anthropic 的护栏与效用下降

• 许多评论者反映，Anthropic 的模型越来越频繁地拒绝合法任务：登录、处理凭证、CTF、逆向工程、生物科学、恶意软件分析，甚至是分叉 MIT 许可证代码或检索本地个人文档。
• 一些人说，4.6 在安全方面比 4.7/4.8 有用得多，后者感觉被“阉割”了，或者有些误导（先声称没有网络访问，后来又承认有）。
• 另一些人指出，护栏有时表现得不一致：同样的提示词在一个会话里可以通过，在另一个会话里却会被拦截，而且中途还会注入不可见的安全提示。
• 也有少数人认为，这些拒绝对大多数用户来说其实是更好的默认行为，因为不该把完整凭证或危险任务交给代理。

商业模式、加购与“谁算专业人士？”

• 有强烈怀疑认为，收紧护栏是在为付费的“Security Pro”之类分层铺路，只有经过审核的用户才能获得进攻性能力。
• 争论焦点在于，厂商是否应该实际决定谁算“安全专业人士”，还是应该依赖独立的职业机构，或者干脆开放工具。
• 一些人担心未来会出现碎片化、被付费墙分割的能力（安全、数据库、数据科学等），这很像流媒体服务的碎片化。

Mythos、harness 与基准测试

• 有说法称，一个内部模型（Mythos）能力强得多，但被 NDA 和护栏隐藏着；一些人认为相关评论纯属营销。
• 讨论强调，Mythos 的成功高度依赖一个复杂的 harness：每个文件多次运行、提示词不断演化，以及对每个疑似漏洞进行明确验证。
• 几个人认为，任何公平比较都必须使用同样工程化的 harness 和多步骤验证，而不是只做“单次尝试、找出全部漏洞”。

中文 / 开源模型与安全工作

• 多位报告称，中国模型（如 GLM、DeepSeek、Qwen、Mimo）更愿意攻击数据库、解决 crackme，并协助渗透测试。
• 有些人说这些模型已经能与西方旗舰模型竞争；也有人用基准测试反驳，认为两者能力仍有明显差距。
• 安全从业者警告称，受“安全优先”西方模型限制的防御者，可能会落后于使用限制更少替代方案的攻击者。

方法、成本与伦理

• 几位评论者称文章的方法论“天真”，认为真实工作流是有人参与的、多轮运行的，而且常常会组合多个模型。
• 还有人强调，真正的成本驱动因素是构建好的 eval rigs 和编排，而不是 token 花费。
• 持续存在伦理争论：能够可靠发现漏洞、且没有护栏的模型，应该广泛可用，还是由于双重用途风险而应受到严格控制？