Emily Bender 所说的“stochastic parrots”是什么意思

术语与框架

• 围绕哪个标签更准确或更有用的争论： “人工智能”、“stochastic parrot”、“高级自动补全”、“大型语言模型”、“语言理解者”或“虚拟智能”。
• 有人认为“stochastic parrot”在技术上很贴切，但已经变成“并不是真正智能”的贬义简写。
• 也有人说“AI”是个含糊的营销“手提箱词”，把非常不同的系统混在一起，并助长炒作。

LLM 如何工作：模式匹配 vs 理解

• 一方认为：LLM 本质上是对文本的下一个 token 预测器，会根据训练中见过的形式做统计性拼接，并不具备真正的理解或接地。
• 另一方认为：模型会构建丰富的内部表征，表现出一致的世界建模，能遵循指令并解决新问题；把它们只称作鹦鹉忽视了涌现能力。
• 对 RLHF 以及后续强化方案是否会从实质上改变“stochastic parrot”的定性，存在分歧。

理解、推理与世界模型

• 有人说模型表现出“没有推理的理解”（联想式概念网络，但显式推理较弱）。
• 也有人坚持，如果无法识别错误的训练数据，也无法把语言与现实世界交互联系起来，那么把“理解”说得太宽泛就失去了用处。
• 最近关于世界建模的工作被引用为证据，说明某些任务在原理上需要的不只是浅层模式匹配。

人与动物的类比

• 将其与幼儿、鹦鹉、蟑螂、海豚、章鱼和人类作比较：
  • 有人认为许多人在社会层面上都像“stochastic parrots”。
  • 也有人强调，人类和动物具有具身目标、社会驱动力，以及终身的互动学习，而当前模型并不具备这些。
  • 也有人争论鹦鹉这个比喻是否公平，因为鹦鹉本身就有真实的智能和创造力。

能力与局限

• 支持能力的一方：LLM 能解决困难的数学问题、为新硬件编写代码、解读手册，有时还能作出非平凡发现；任何无法容纳这些能力的理论都是有缺陷的。
• 怀疑的一方：幻觉、脆弱的推理、可被越狱的护栏，以及缺乏长期目标追求，都表明它们并不具备稳健的理解。

确定性与随机性

• 说明一下，LLM 可以以确定方式运行（例如 temperature 0），尽管训练和通常的推理过程是随机的。
• 有人认为“stochastic”被误用为侮辱；也有人认为非确定性削弱了计算机传统上的一个关键优势。

对论文及相关争议的评价

• 对原始“stochastic parrots”论文的看法，从“重要的早期警告”到“糟糕、出于政治动机，而且随着时间推移显得站不住脚”不等。
• 批评者认为它低估了未来能力，忽视了已有技术（例如基于强化的微调），并且对意义和接地作出了过于宽泛的主张。
• 支持者强调，它呼吁认真整理数据集、关注偏见、环境成本，以及抵制炒作。
• 关于论文所引发的公司内部争议，也展开了长篇讨论：一方将其描述为伦理负责人越界并表现出有毒行为；另一方则认为是公司在压制令人不便的批判性研究。

环境与资源使用争论

• 讨论分支到了 AI 的用水和能耗问题：
  • 有人认为，相比农业或管道漏损，关于用水的担忧被夸大了，而且数字上常常被夸张。
  • 也有人认为，这类比较可能转移人们对真正有问题的选址、含水层枯竭，以及数据中心运营方缺乏透明度的注意力。
• 普遍感觉是，能源使用从长期看可能比用水更严重，但两者都不应忽视。