人工智能并不具备意识 – Ted Chiang

分歧范围

• 关于我们是否能够有把握地说当前的 LLM 不具备意识，存在强烈分歧。
• 许多人认为，我们缺乏一个清晰、可检验的意识定义；也有人说，我们不需要完整理论也能排除某些东西（例如石头、Word 文档、当前模型）。
• 不少人认为，“意识”是一个模糊的、民间概念式的，或一种“家族相似性”集合，而不是一个单一定义明确的属性。

意识的定义与判据

• 提出的要素包括：主观体验（感质）、自我建模、情感、欲望、具身性、持续记忆、连续运行，以及能动性。
• 反对意见：其中一些存在争议，或者来自狭隘的人类中心直觉。
• 不少人指出，许多标准会把一些人类或动物排除在外，这使这些标准值得怀疑。

LLM 作为预测器，而非心智

• 一派观点：LLM 是复杂的自动补全 / “随机鹦鹉”，没有内在生命；“理解”只是对文本进行统计模式匹配。
• 另一派回应说，“只是预测”同样可以很好地描述人脑；预测机制原则上可以实现丰富的世界模型、推理，甚至可能实现意识。
• 关于思想实验（中文房间、笔和纸执行）的类比，被用来既否认也支持计算型意识。

具身性、时间与记忆

• 许多评论者认为，具身性、感官输入以及情感（愉悦/痛苦、恐惧、欲望）是核心；没有这些，把模型称为“焦虑”或“快乐”会被认为是误导。
• 另一些人认为，虚拟身体和合成“驱动”或许就足够，而且人类在某些衰弱状态下（昏迷、失忆、梦境中）也可以是有意识的。
• 当前 LLM 部署缺乏持久的自我更新，以及缺乏内在的时间流逝，这一点经常被提及为一个重大缺口。

伦理与营销

• 人们普遍担忧，拟人化的聊天界面和“宪法”会促使人们把工具当作人来对待（“伪人类化”）。
• 有人认为：如果公司真的认为模型可能会受苦，那么现行做法看起来就像奴役或折磨。
• 也有人说，不管 AI 是否有意识，我们如何对待 AI 系统都很重要，因为这会塑造我们的品格（德性伦理），以及我们对待动物和人类的方式。

智能与意识

• 普遍认同的是，LLM 展示了令人印象深刻的推理与语言能力，这削弱了“此类能力必须依赖意识”的看法。
• 不少人认为，这才是真正的哲学冲击：智能与意识可能比以往假设的更为脱钩。