大型语言模型通过自适应探索发展出新的社会偏见
根据一篇近期论文，大型语言模型即使在面对完全虚构、统计上彼此相同的人口群体时，也会形成新的社会偏见；该论文改编了一个关于招聘决策的经典心理学实验。评论者围绕这些效应究竟源于根本性的模式匹配行为、提示设计，还是对“偏见”的拟人化理解展开争论，也讨论了此类发现能否真正外推到 AI 在招聘或其他高风险决策中的现实用途。许多人一致认为，这项工作凸显了 LLM 如何从小样本中过度概括并固化早期“偏好”，从而引发把关于人的判断交给这些系统处理的担忧。
感知的重要性和主要结果
- 一些评论者认为，这篇论文为 LLM 中尚未解决的泛化问题提供了重要证据。
- 该研究被理解为表明：在一个顺序式、类似招聘的游戏中，尽管虚构群体在客观上完全相同，LLM 仍会形成分层偏好和“群体—工作”刻板印象，而且有时比类似实验中的人类更强烈。
- 有人将此与此前关于招聘和拍卖中人类偏见的实证研究联系起来，认为 LLM 复制甚至放大了类似动态。
方法与实验设计
- 设定：虚构城市、四个人工“部族”、跨职位的重复招聘或分配决策；所有群体的真实成功率相同。
- LLM 只接收群体标签（没有其他候选人信息）以及每次雇用是否“成功”的反馈。
- 批评者称这些提示是人为捏造、荒谬的，认为该设定在隐含地告诉模型：氏族归属很重要。
- 另一些人则为该设计辩护，认为这是在控制条件下剥离现实世界混杂因素、揭示涌现偏见的有效方式。
对“偏见”的解释
- 一派采用论文的心理学框架：偏见是指在底层群体相同的情况下，对平等待遇的系统性偏离。
- 另一派更偏好统计学定义：偏离真实或预期分布，不一定等同于平等性。
- 有人认为所有 token 选择在概率意义上本就带有偏差，因此真正有趣的是 哪些 偏差会持续存在并产生影响。
- 也有人反对“形成信念”或“做出决策”这类拟人化表述。
探索、利用与智能体行为
- 这种行为被联系到多臂老虎机动态：LLM 很快会“利用”早期的随机成功，而对其他选项探索不足。
- 评论者指出，这与人类从小样本中过度概括、以及 LLM 智能体把自己早先的输出当作真实情况有相似之处。
- 这被描述为“智能体记忆”问题：系统把自己早期、带噪声的结果误认为可靠证据。
对现实使用的相关性
- 支持者认为，这项工作警示：基于 LLM 的决策系统会引入并固化隐藏偏见，尤其是在招聘或分配任务中存在人口统计信号时。
- 另一些人则认为，根本不应该用 LLM 来做这类决策，所以结果并不令人意外。
怀疑、局限与更广泛的争论
- 有些人认为这个结果很平凡（“LLM 会轻率得出错误结论”），或者太容易被诱发（“设计一个让它失败的实验”）。
- 有人建议测试更大的样本量或非人类领域（例如花种、彩票票）来看看是否会出现类似模式。
- 旁支争论探讨语言本身是否编码了会诱发偏见的“思维方式”，还是偏见完全源自统计机制。
- 也出现了规范性分歧：目标是消除 AI 中的社会偏见、匹配现有人类偏见，还是承认某些偏见不可避免。