大型语言模型可证明推理的进展

Anthropic 关于大语言模型“可证明推理”的工作——使用零知识证明加密验证某个特定模型及其权重生成了给定输出——被视为朝着可审计性、路由透明度以及 AI 算力潜在监管迈出的有意义一步。评论者讨论了这对已经必须信任提供方处理数据的终端用户到底有多大用处,并指出其巨大的性能开销、当前有限的实用性,以及它可能主要是在保护厂商的商业模式或促成监管俘获。也有人强调了新兴用例,如第三方评估者、AI 服务的供应链安全,以及未来扩展到证明模型如何训练的可能性,同时也对归因问题以及开源研究被吸收到专有系统中表示担忧。

可证明推理试图解决什么问题

  • 目标:让客户端能够验证某个特定模型(特定权重)确实生成了某个响应,即使是在不受信任的基础设施上,或通过第三方路由器调用。
  • 引用的动机包括:
    • 需要独立评估时,确保被评估的模型就是实际提供服务的那个。
    • 路由/代理服务的客户希望证明自己拿到的是付费购买的模型。
    • 检测 token 篡改或模型替换(例如更便宜、量化过的,或“去脑化”的变体)。

关于实际价值与威胁模型的争论

  • 支持者认为它对以下方面很关键:
    • AI 供应链安全与“纵深防御”。
    • 做黑盒评估的审计与保证公司。
    • 防止转售商或可疑路由器欺诈。
  • 怀疑者则认为:
    • 如果你不信任服务方处理你的数据,那验证权重只是你问题里最不重要的一项。
    • 它并不能解决隐私、数据外泄或答案正确性问题。
    • 对许多用户来说,这只是一个小众或内部关切,而不是最优先的实际问题。

技术限制与性能

  • 当前系统:仅整数权重、贪心解码、约 1k 上下文长度。
  • 证明生成的 GPU 时间约为正常推理的 70–95 倍;验证需要约 17–21 秒 CPU 时间,且每个承诺约 6.5 MB。
  • 有些人认为这已经算进步,但对通用工作负载而言,离生产可用仍然很远。

量化、替换与开放权重

  • 讨论焦点之一是它能否抓住主机悄悄使用量化模型或降级模型的情况。
  • 对于开放权重模型,有人认为确定性重算可能比 ZK 证明更便宜。
  • 证明机制原则上可以证明精确的 checkpoint 和量化方式;而该系统目前主要支持整数化版本。

与替代方案的比较

  • 与以下方案相比:
    • 硬件机密计算 / 远程证明(有人认为更实用,但依赖硬件)。
    • 水印(只能证明“来自这个提供方”,不能证明“在这个输入上由这些权重生成”)。
    • 在更简单威胁模型下,多提供方重算与用于完整性的 HTTPS。

监管与商业影响

  • 有人认为这会支持监控硬件使用情况(推理 vs 训练)的监管体系,并可能带来监管俘获 / 锁定效应。
  • 另一些人则认为,这是一种在路由器本可替换为更便宜模型时,维持“高端”模型价格溢价的方法。

训练来源与归因

  • 多位评论者指出,可证明的训练(证明模型只使用了某些数据训练)会更有影响力,但也更难实现。
  • 还有一段关于先前学术工作(例如 VerInf)、许可协议(MIT vs GPL)以及 Anthropic 的文章中归因不足的讨论。