Claude 的幻觉
围绕 Cory Doctorow 的《The Claude Delusion》的讨论,核心在于大语言模型究竟只是统计性的文本生成器,还是有可能被视为拥有心智、意图或意识。评论者从哲学基础(图灵、灵魂、物理主义)、架构与具身性的作用,以及“软件不可能有意识”究竟是科学主张还是伪装的形而上学主张等方面展开争论。与此同时,人们也分享了把 LLM 当作强大工具来放大人类能力的实际经验,但同时警告说,过度拟人化它们可能会侵蚀我们对人类创造力、能动性和人格的看法。
LLM 认知与意识的本质
- 主要讨论围绕“预测下一个 token”是否可能等同于思考或意识展开。
- 一方认为:LLM 只是 随机的下一 token 生成器;把这称为“思考”就像相信鬼魂一样。大脑之所以特殊,是因为我们直接知道自己的意识,以及它与身体的联系。
- 另一方认为:人类也会通过基于先前经验的预测来生成语言;大脑和 LLM 都是物理系统,因此仅凭直觉否定机器意识并没有清晰的定义或测试标准。
- 冗长的子讨论未能收敛到一个精确、共识性的“意识”或“灵魂”定义;多位参与者将此视为阻碍。
意向性、随机性与训练
- 关于 LLM 输出究竟是“纯粹的外溢”还是承载人类意图,存在分歧。
- 有人认为采样在字面上就是随机的,因此单次输出不具备意图。
- 也有人认为,分布受到训练数据、RLHF 和系统设计的强烈塑造;因此即使单次回复是采样得到的,在系统层面仍然存在大量人类意图。
人类与 AI 的创造力和角色
- 讨论 AI 生成的角色是否比人类创作的角色“更不真实”。
- 批评者认为:LLM 角色是许多人类作品的统计混合/平均值,通常缺乏独特声音、生活经验以及与现实的直接接触。有人称当前模型在鲜明对话和深度虚构方面明显较弱。
- 反方观点:人类作者也会重组先前的角色和经验;这条界线并不清晰。
能力、正确性与作为工具的使用
- 多位评论者报告了很强的实用价值:编码帮助、技术学习,甚至在航班赔偿争议中获胜。
- 共识是:模型在逻辑/编码以及某些数学任务上相对强,在事实准确性和高质量文风上较弱。
- 出现一种看法:LLM 是“思考加速器”或“给大脑穿的机甲”,其输出仍需要专家引导、核验、测试和工具支持。
拟人化、去人性化与社会影响
- 多条评论提到,人类会在聊天机器人背后“幻觉出一个心智”,甚至对它们产生社交冲动(例如想分享考试成绩)。
- 引用的研究表明,重度使用 LLM 可能会让人把其他人类看得更像 AI、也更不值得尊重。
- 对于唯物主义世界观和 AI 热情是否会本质上去人性化人类,存在分歧。
对文章框架的反应
- 有人称赞这篇文章对 AI 拟人化的批评;也有人认为它带有意识形态色彩、只是旧争论(ELIZA、Searle)的翻版,或采用了无益的无神论—宗教二分框架。