AI 模型可以可证明地隐藏任意能力

后门、潜伏智能体与触发式行为

• 许多评论者认为，这项工作形式化了一个早已令人担忧的场景：模型中嵌入“潜伏”行为，只在秘密触发条件下激活。
• 讨论中的例子包括看起来正常的提示词，以及包含秘密 token 的提示词，后者会导致类似数据外泄的输出或工具使用建议。
• 有人认为，这类似于传统后门，或嵌入权重中的多态/加密恶意软件。
• 也有人强调，模型本身只会输出文本；真正的危害需要不安全的 harness/智能体去执行或根据这些输出采取行动。

可检测性、理论极限与混淆

• 一些人最初声称，这类后门可通过异常的权重分布“轻易检测”。
• 另一些人则反驳说，已有关于混淆权重分布的研究，而且论文本身也描述了更好隐藏这些结构的方法。
• Rice 定理及相关不可判定性结果被提及：任何足够强大的模型都会具有非平凡属性，无法仅靠静态分析可靠检测。
• 几位评论者强调，仅凭基准测试无法保证不存在隐藏能力。

开源与闭源模型、训练流水线与信任

• 讨论围绕开源权重或完全开放的训练流水线是否能提供实质保护展开。
• 有人说，除非你能重新训练并验证权重，否则即使完全拥有数据和代码也无济于事；对大多数人来说这都不可行。
• 也有人认为，开源权重至少能让人进行部分审查，或将权重哈希与“已知良好”版本对比。
• 总体共识是：这本质上是一个发布者信任问题；理论上，国家行为体和公司都可能植入后门。

鲁棒性、微调与隐藏知识

• 线程中提到，这类“加密”电路对微调和噪声可能非常鲁棒，有时甚至比正常语言能力更稳定。
• 一个轶事性实验表明，模型可以“忘记”一个古怪的问答对，之后又自发“重新发现”它，暗示潜在或隐藏的表征。
• 评论者将此与超位置（superposition）、彩票票据子网络（lottery-ticket subnetworks）以及休眠基因重新激活的类比联系起来。

安全、对齐与实际影响

• 有些人把这看作只是个很酷的演示；另一些人则认为，这强有力地表明，仅基于行为的安全/对齐是脆弱的。
• 一个反复出现的观点是：对齐不如可执行的外部约束和沙箱隔离重要。
• 讨论中还出现了通过数据投毒诱导这类后门的猜测，以及国家或企业滥用的可能性，不过现实世界中的具体案例仍不明确。