“作为一个语言模型”：聊天模板切换了 LLM 的自我指涉语气
语言模型惯常说出“作为一个语言模型……”并使用第一人称、看似内省的语气，在这里被追溯为训练数据、聊天模板和强化学习的结果，而非真正的自我意识。评论者争论，这种人类化人格究竟是一种会鼓励有害拟人化的操控性 UX 黑暗模式，还是训练人类对话所带来的自然甚至必要结果。讨论还延伸到更广泛的对齐与安全问题，从医疗建议和过度自信的回答，到公司安全措施与用户对未过滤、较少家长主义的 AI 系统之需求之间的张力。
LLM 的自我指涉语气与拟人化
- 许多人认为 LLM 应避免使用第一人称、带有“体验感”的语言，因为这会鼓励用户将软件拟人化，也被视为一种带有操控性的 UX 选择。
- 也有人反驳说，如果模型是用人类对话训练出来的，那么人类化的语气“在构造上就是自然的”，甚至可能对理解人类意图很重要。
- 有些人建议采用更不具人格色彩的“星际迷航电脑”式风格；但也有人怀疑，尽管更诚实，这种风格对消费者并不会受欢迎。
训练数据、后训练与聊天模板
- 多条评论强调，风格和“语气”在很大程度上是以下因素的产物：
- 预训练数据（对话式文本 vs 说明性文本），
- 指令/聊天微调，
- RLHF 或类似强化。
- 从业者表示，他们可以训练出不会使用体验式语气的基础模型；这直接取决于他们强调什么数据。
- 文章声称这些驱动因素“并未得到很好理解”，这一说法被批评为夸大；有人表示从业者对此其实相当了解。
免责声明与“作为一个语言模型……”
- 许多人不喜欢模板化免责声明，尤其是在医疗场景中，将其称为厂商的“臃肿软件”或黑暗模式。
- 也有人认为，明确提醒其非人类身份有助于减少过度信任和情感依附，尤其是对脆弱用户而言。
- 对措辞也存在争论：一些人说真正的约束来自训练数据和安全政策，而不在于其“作为一个语言模型”这一事实本身。
医疗建议、置信度与基准测试
- 对 LLM 用于医疗的看法不一：
- 有一项研究（在一些人看来已过时）表明，LLM 在治疗建议上经常出错。
- 也有人分享个人经历，称 LLM 提出了正确的诊断或检查，而这些被医生漏掉了。
- 几条评论指出，LLM 往往显得过于自信，因为：
- 训练文本偏向于自信的陈述，
- 人类反馈会奖励自信语气。
- 基准测试被认为有用，但不能可靠预测现实世界表现。
对齐、安全与用户自主
- 一些人认为安全约束和拒答是公司式的监控与家长主义，会削弱用户能力。
- 另一些人则把 LLM 看作可能危险的“核级”技术，因而支持受管理、受限制的交互界面。
AI 陪伴、人格与灵魂
- 关于 AI“朋友”对孤独用户是有益还是有害，存在争论。
- 一些人坚持 GPU 和 token 没有利益或福祉；另一些人则认为意识很可能是一种物理现象，而否认“它们性”有重演过去去人性化模式的风险。
- 对“灵魂”以及机器意识的状态，部分参与者明确保持未定论。