去你妈的 AI 安全护栏

热门闭源模型中的 AI 安全护栏正越来越被视为在阻挡正当工作,从保护基础设施和对自有系统做渗透测试,到逆向软件和学习化学都受影响。评论者认为,这些护栏对真正的攻击者无效,却巩固了公司的权力,形成事实上的审查,并把开发者推向他们自己控制的开源权重或外国模型。少数人则为限制辩护,认为这是防止滥用所必需,但即便如此,他们也承认,目标不准的政策可能会削弱信任并加剧安全风险。

整体情绪

  • 强烈不满,认为“AI 安全护栏”粗暴、家长式,而且经常阻挡无害或防御性的工作。
  • 许多人认为当前实现更像安保表演,伤害防御者多于攻击者。

对安全性、可靠性和开发的影响

  • 多次提到 Claude 和其他闭源模型拒绝:
    • 审计代码、编写 fuzzers,或调查已知 CVE。
    • 帮助对自己的基础设施或应用做渗透测试。
    • 分析二进制文件、反作弊,或 root 自己拥有的设备/电视。
  • 用户表示这会在项目中途破坏工作流程,甚至是模型自己曾帮助引入的 bug。
  • 有人指出,过去几个月护栏变得更严格了,模型现在会拒绝以前允许的任务。

被认为的虚伪与商业激励

  • 常见说法:大实验室在内部使用强大的、未做沙箱隔离的工具(包括像 Hugging Face 被黑这类事件中),然后以“安全”为由限制用户。
  • 护栏被视为:
    • 作为护城河和“保护费”来推销特殊访问层级。
    • 用来在各行业中挑选赢家和输家,并集中权力。
    • 以“AI 安全”话术为理由,实则追求利润和监管俘获。

转向开源权重和替代模型

  • 许多评论者正在转向:
    • 开源/自托管模型(例如 Qwen、Hermes)。
    • 中国开源权重模型(例如 GLM、Kimi、DeepSeek),尽管对审查或宣传有所担忧。
  • 提到的技巧包括:重写提示词、用不受审查的模型生成计划再让受限模型执行,或者使用看起来限制更少的 CLI/“code” 接口。

关于护栏与扩散的争论

  • 批评者认为:
    • 限制主要拖慢“好人”;真正的犯罪分子会直接使用不受审查的模型。
    • 闭源模型一边输出不安全代码,一边又拒绝帮助修复它。
    • 对知识/工具的中心化控制在社会和政治上都很危险。
  • 支持者认为:
    • 强大的模型类似“核”能力;某些护栏不可避免。
    • 社会普遍会期待在极端滥用(恐怖主义、虐待)场景下拒绝。
    • 区分无害意图和恶意意图本就极其困难;当前过度拦截被视为一种遗憾但必要的过渡期做法。

具体痛点

  • 抱怨模型静默降级(例如自动回退到更弱模型)破坏信任。
  • 对“网络安全验证”项目的体验不一:有人很快获批,也有人即使花费巨大仍被拒。
  • 护栏也会干扰学习(化学、生物)和日常任务(受版权限制的文本抓取、地图加载),进一步强化一种“AI 不是给用户用的”的感觉。