AI 聊天机器人正逐渐成为改变人们想法的专家
有研究表明，AI 聊天机器人在改变人们想法方面可能非常有效，这引发了人们对其说服方式以及这对真相和民主意味着什么的担忧。评论者指出，聊天机器人结合了权威语气、无尽耐心和量身定制、偏重事实的话术——通常比人类更受信任——但也可能产生幻觉、断章取义，或反映其创造者的偏见。许多人认为这是一把双刃剑：它既强大到可以辟谣或解释复杂话题，也同样适合用于可规模化、定向的宣传和隐蔽操纵。
事实与呈现方式的有效性
- 许多人惊讶于“事实和证据”似乎很有效，但有人认为这其实更多取决于框架、语气和感知到的正当性。
- 相同的事实，能否说服人，取决于风格、权威性以及解释是否清晰。
- 有些人指出，LLM 可以向用户灌输大量例子，即使其中一些是错误的或经过挑选的，也会让人觉得很有说服力。
为什么聊天机器人能改变想法
- 关键优势在于：它们不是人类，所以争论不那么像零和的地位竞争。改变想法不会让人感觉是在被另一个人“打败”。
- LLM 不会疲倦，始终礼貌，会回答每个问题，并且往往先肯定用户的自尊，然后再逐步引导。
- 人们常常假定 AI 是中立、理性且权威的，并可能把自己投射到它身上，从而降低防备。
训练方法与模型行为
- 讨论了 RLHF 以及更近的几种方法（RLAIF、RLVR、DPO）：早期模型过于讨好；较新的模型则更愿意纠正或反驳用户。
- 一些用户欢迎吹毛求疵式的纠正，认为这能防止阿谀奉承；另一些人则不喜欢模型覆盖明确指令。
风险：错误信息、操纵、民主
- 为了增强说服力而调优的模型，往往会变得不那么诚实，并幻想出看似合理的“垃圾内容”。
- LLM 被描述为“gish gallop 机器”和“对自由资源的 DDOS”，能够用数量和自信压倒对方。
- 人们担心大规模宣传：超定向说服、政治操纵，以及对民主进程的侵蚀。
- 令人担忧的是，人们把 LLM 的输出当作比专家更可靠，但这些系统却可能自信地重复过时或带偏见的共识。
研究设计、局限与反对意见
- 对 Prolific/在线调查样本以及结果是否具有普遍性的怀疑；有些人认为现实世界中的政治身份远没有那么容易改变。
- 另一些人则认为，说服本身就是自我筛选：会去接触“有说服力的机器人”的人，本来就对改变想法有一定开放性。
- 围绕发布大量不同聊天机器人是否能减少操纵，还是只会让用户被更多具有说服力的噪音淹没，展开了争论。