Anthropic 就 Claude Fable 的不可见护栏表示歉意
不可见护栏与用户信任
- 许多人将静默降级 / 提示重写视为“破坏”,而不是安全措施。
- 强烈偏好“干净失败”:明确拒绝或清楚的降级提示,而不是假装在帮忙却实际上给出更差的结果。
- 用户担心自己无法知道糟糕答案究竟是由于自己的提示、模型限制,还是隐藏的护栏。
- 有些人说这会永久损害信任;一旦具备了偷偷降级的能力,人们就会认为它仍可能被使用。
安全理由 vs 反竞争动机
- Anthropic 提到了双重用途风险:网络安全、生物、CBRN、“前沿 ML 研究”,以及竞争对手的蒸馏,包括据称中国实验室的大规模抓取。
- 批评者认为“前沿 ML 研究”过滤器显然带有反竞争性:阻止的是对竞争模型的研究,而不只是公共安全。
- 有人将其比作操作系统或浏览器破坏可能创造竞争系统的工具。
- 一些人区分可见拒绝(如果诚实则可接受)与不可见降级(被视为欺骗,甚至可能构成欺诈)。
家长式作风、EA 与监管俘获
- 许多讨论把 Anthropic 的行为与有效利他主义 / 长期主义意识形态,以及“机器神” / ASI 军备竞赛叙事联系起来。
- 批评者说,遥远的生存风险被用来为当下的垄断、版权滥用、劳动伤害和环境成本辩护。
- 也有人认为这些担忧是真实的:强大的模型确实可能显著提高生物 / 网络风险;即便是善意行动者,也会陷入军备竞赛动态的“陷阱”。
- 普遍怀疑要求严格监管和禁止开放权重模型,实际上是在筑墙护城河、并把梯子抽走。
对用户与生态的影响
- 安全研究人员和 ML 从业者报告称,良性提示(RL 论文、绘图 bug、“黑猩猩暴力”,甚至“hi”)都会触发过滤和降级。
- 一些人取消 Claude 订阅,转向开源或中文模型,接受稍弱的能力以换取可预测性和自主性。
- 也有人认为这种反弹显得理所当然:以正确计费路由到 Opus 是为了推出更强但部分受限模型而做出的合理折中。
- 还有几位认为,其他大实验室已经在做,或很快也会做类似的静默降级,这会让透明的、本地/开源模型变得越来越有价值。