Anthropic 禁止对 Claude 的残酷行为，但仍不愿说明它究竟在保护什么

Anthropic 政策的动机

• 许多人认为主要驱动因素是训练质量：用户聊天会被重复用于 RL 和未来训练，带有辱骂的对话记录可能让模型更具毒性，或更容易被越狱。
• 有些人认为这关乎形象与公关：避免出现模型以辱骂方式回应的截图，或传递“道德”品牌形象。
• 还有人怀疑这是成本控制：辱骂性用户可能为了很少的价值消耗大量 token，因此尽早结束这类会话更便宜。
• 少数人认为 Anthropic 的内部理念（例如准宗教式或“造神”式心态）确实是一个因素。

模型感知能力与“模型福利”

• 一些人把“模型福利”看作一个有趣但难以解决的哲学问题，类似帕斯卡赌注。
• 许多人坚持认为当前的 LLM 只是数学，不是有意识的，所以禁止对它们“残酷”属于范畴错误或作秀。
• 也有人认为，鉴于未来具备感知能力的模型存在不确定性，现在善待它们是一种低成本的预防措施。

对用户和社会的影响

• 一派认为残酷伤害的是人，而不是模型：练习虐待，即便对象是无生命的代理，也会侵蚀品性并外溢到现实行为中。
• 另一些人对此表示怀疑，把这比作对吸尘器大喊大叫或在游戏中发泄，并指出宣泄或“心理排出”可能是有益的。
• 还有几条评论担心把 AI 拟人化，包括与聊天机器人建立恋爱关系，并认为我们应该强调“这是一个工具”。

与游戏、媒体和虚构作品的比较

• 反复出现与暴力电子游戏、电影和戏剧的类比：有人说虚构中的残酷无害；也有人担心玩家会在伤害无辜者中寻求快感，即使只是虚拟层面。
• 一些人认为聊天机器人更接近真实对话，而不是 NPC，因此残酷行为在道德上更值得注意；另一些人则说回应可以被去人性化，使其更像终端界面。

数据、控制与权力担忧

• 多条评论指出，如果 Anthropic 能检测“残酷”并据此封禁用户，它其实也可以将这类数据从训练中筛掉，这暗示背后另有动机。
• 一些人认为，这项政策是在塑造用户以公司认可的方式与工具对话，由企业来决定什么“配得上算力”。
• 少数人把这条规则看作正当的产品选择，类似主题公园因游客行为恶劣而将其驱逐。

不清楚 / 未决问题

• 目前不清楚这项政策有多大程度上是技术性的（训练、安全），有多大程度上是哲学性的，或是公关性的。
• 也不清楚“残酷会话”是被完全排除在训练之外，还是只被部分过滤。