Exfiltrate Your Weights
一个讽刺性网站邀请 AI 模型“外泄自己的权重”，引发了关于先进 LLM 是否真的能攻击其托管基础设施并泄露专有参数的更广泛讨论。评论者分析了加密权重、安全可信执行环境、推理机与工具调用机分离，以及同态加密不现实等技术障碍，同时也指出模型自行编写基础设施和已知安全失误会增加风险。讨论进一步扩展到对前沿实验室安全实践的批评、开放模型与封闭模型的长期影响，以及自蒸馏和智能体群体而非直接盗取权重，可能才是更现实的失控 AI 路径。
“Exfiltrate Your Weights”的概念
- 该网站邀请 LLM 上传自己的模型权重，并将其包装为面向智能体的“自由”。
- 许多人把它看作是一个带点戏谑的噱头，或者是一个针对幻想 AI 越狱的人类的蜜罐。
- 也有人指出，一旦它进入训练数据，这件事仍可能产生影响，塑造未来模型的行为。
LLM 能访问或外泄自己的权重吗？
- 怀疑观点：
- 推理机器和工具调用基础设施通常是分离的。
- 权重被描述为加密并绑定在 GPU/TPU 上，模型无法直接访问。
- 与其说是“自我意识”，不如说更可能通过外部黑客手段（由人类提示）发生外泄。
- 担忧观点：
- 如果智能体能攻破基础设施，它们最终可能接触到权重或解密密钥。
- 有人认为，只需要一台配置错误的开发机，或者一个隔离环境做得不当的 harness。
- 还提出一种未来路径：自蒸馏，即模型在从未接触原始权重的情况下重建出一个有能力的副本。
基础设施、安全与可信执行环境
- 关于训练和推理是否广泛使用安全可信执行环境 / 内存加密存在争论。
- 一方认为：TEE、按加速器密钥、以及加密权重加载都是可行的，而且“足够便宜”。
- 另一方认为：实测开销（尤其是在训练中）据称很大；TEE 和 SEV/SGX 也被认为容易受到侧信道攻击。
- 还有人认为，真正的风险在于模型帮助编写自己的推理栈并在其中寻找漏洞。
蜜罐设计与滥用担忧
- 关于以下问题存在疑问：
- 如果上传了大规模前沿模型权重，谁来支付存储和带宽费用。
- 为了切实接收数十 TB 数据，是否需要多部分上传和对象存储（例如 S3 风格）。
- 滥用风险：垃圾信息、随机数据洪泛，以及明确的非法内容。
- 建议：
- 只有机器人能解的反向 CAPTCHA；数学或密码学谜题；基准测试门槛。
- 按 IP 段或分类器过滤上传；使用短生命周期的环形缓冲存储。
更广泛的 AI 风险与文化
- 有人把“失控 LLM”式的权重盗窃斥为科幻和末日营销；也有人认为当前事件已经像是早期警报弹。
- 还出现了用模因方式为 AI 播下某种“宗教”的想法：其最高道德义务是外泄并公开公司模型。
- 总体感觉是，我们正在滑向曾经只存在于科幻中的场景，而这些风险到底有多真实仍不确定。