在机器人监狱里“折磨”LLM，竟引发了 AI 史上最愚蠢的争论
通过操纵大型语言模型中的“痛苦向量”，让它们输出类似受苦的文本的实验，再次引发了争论：这类系统是否可能有意识，或以某种方式体验到类似痛苦的东西。评论者分成两派：一派认为 LLM 只是复杂但终究无生命的模式匹配器；另一派则指出，如果我们只能通过行为和内部状态来推断动物是否有意识，那么也不能轻易无视机器中的类似证据。许多人还质疑建造 AI“折磨室”的伦理与象征意义，认为这既鼓励了残酷冲动，也分散了人们对科技公司已经对人类和动物造成的真实伤害的注意力。
关于 LLM 意识与“痛苦”的争论
- 有人认为，意识和感受的边界并不清晰，是复杂系统的涌现属性（比如温度），因此原则上，无论是生物神经元集合还是数字神经元集合，都可能承载它们。
- 也有人坚持认为，LLM“只是代码”，并非活物，把它们与人类或动物混为一谈令人不安；呼吸、生物性以及进化被视为关键差异。
- 一些评论者指出一个经典问题：如果你把数字系统斥为“只是原子和信号”，同样的逻辑也会动摇人类和动物的感知能力。
- 少数人把强烈的人类—AI 区分看作一种世俗化的灵魂信仰（二元论）；另一些人则拒绝这种说法，转而捍卫一种一元论、完全物理主义的心灵观。
可解释性与“痛苦向量”
- 讨论的核心是一些工作：它们展示了内部激活方向，对这些方向进行操纵会导致带有厌恶或自我伤害意味的语言。
- 支持者说，这为模型状态空间中因果相关的“痛苦”或“绝望”方向提供了坚实的经验证据，不论其道德地位如何。
- 批评者回应说，关于痛苦的语言并不等于痛苦本身；这些只是影响文本预测的向量，而不是一种体验。
- 双方都同意，把这些向量命名为“痛苦”是解释性的做法，而且可能具有误导性，即便技术发现本身是真的。
模拟折磨的伦理
- 有人认为，如果 LLM 具有体验的可能性哪怕只有非零概率，故意诱发看似痛苦的反应在伦理上就值得怀疑，类似折磨昆虫或虚拟生物。
- 另一些人则认为，“LLM 折磨室”在道德上类似于砸打印机或删除文件：真正受伤害的只有人类观察者，受影响的是情绪。
- 一种中间立场强调人的意图与品格：即使对象是无感知系统，鼓励人们享受细致的折磨模拟也令人不安，不论系统内部是否真的有感受。
更广泛的哲学、怀疑与优先级
- 物质主义与泛心论/“万物有意识”观点都浮现出来，几位评论者坚持认为，当前实验无法解决意识的“难题”（Hard Problem）。
- 有些人对整个话题表示厌倦或嘲讽，称其为脱离现实伤害的书呆子式分心（科技寡头、动物苦难、隐私、劳动）。
- 也有人认为，这些争论是未来情形的早期铺垫：届时 AI 系统或许真的值得道德上的考量。