恶意软件开发者在他们的间谍软件中加入了核武器和生物武器文本

恶意软件技术概述

• 恶意软件作者在间谍软件代码中嵌入了有关核武器和生物武器的文本。
• 目标：触发 LLM 安全护栏，使基于 AI 的恶意软件扫描器拒绝分析或卡住。
• 注释和任意字符串就足够了；扫描器通常会对二进制文件运行 strings，或者读取源代码注释。
• 不能依赖忽略注释，因为有效载荷可以隐藏在注释中，并在运行时解码。

对基于 AI 的安全工具的影响

• 一些人认为这暴露了一个结构性缺陷：任何可预测的拒绝行为都会成为攻击面。
• 如果流水线在 LLM 拒绝时采用“失败开放”，护栏就会直接帮助恶意软件绕过检查。
• 一位评论者描述了一个真实案例：AI 审查流水线中的拒绝导致卡住，再加上失败开放设计，最终使恶意代码被部署到内部。
• 其他人建议更安全的模式：如果分析过程中触发了护栏，就将该工件视为可疑并阻止，或升级给人工处理。
• 还有人担心攻击者会用这一点对事件响应人员实施 DoS，通过向他们灌入大量会触发拒绝的样本。

提出的对策和变通办法

• 先用一个便宜、限制更少或专门化的模型对内容进行清理/转换，再交给更严格的模型。
• 将拒绝视为恶意/有趣内容的强启发式信号。
• 强调沙箱和传统分析技术，并与 AI 工具结合使用。

护栏、审查与大规模杀伤性武器风险

• 有人认为与大规模杀伤性武器相关的护栏是合理的，目的是降低法律/责任和公关风险，而不是隐藏知识。
• 也有人认为这些护栏大多只是姿态性措施，因为关于爆炸物、核武器和生物武器的高层次乃至相当多的技术信息已经公开可得。
• 多条评论强调，对于核武器来说，瓶颈在于材料、基础设施和保密，而不是基本设计知识。
• 许多人认为，生物威胁比核威胁更可能被 LLM 促进，因为所需资源更少，也更容易隐蔽。
• 讨论还包括：LLM 是否真的降低了中等技能不良行为者的门槛，还是一种道德恐慌。

更广泛的担忧与幽默

• 有人担心集中化的、“安全剪刀”式模型会将权力集中到大型组织和政府手中。
• 也有人反驳说，即使不完美，提高门槛仍然会在边际上降低风险。
• 还有大量玩笑和思想实验，讨论故意用与大规模杀伤性武器相关或 NSFW 的触发词污染代码库、端点或文档，以“破坏”自动化的 LLM 分析。