幻觉是不可避免的：大型语言模型的内在局限
一篇近期论文主张，幻觉是大型语言模型进行回答时不可避免的结果，这引发了对“幻觉”究竟意味着什么、以及它是否真与普通错误不同的更广泛审视。评论者将 LLM 的行为与人类推理相比较，争论这些模型是否具备真正的“世界模型”或知道自己何时不知道，并讨论加入额外监督层或置信度估计器是否能抑制流畅但错误的输出。许多人认为，完全可靠并不现实；真正的问题是如何限制、检测，甚至创造性地利用幻觉，而不是试图彻底消除它。
“幻觉”是什么意思，以及这个术语是否贴切
- 许多人认为论文的定义（“与可计算的真实值函数不一致”）其实只是“出错”或编造，并不是真正的幻觉。
- 一些评论者不喜欢这个词，认为它把 LLM 拟人化了，还让失败听起来神秘或了不起；有人建议用“虚构编造”（confabulation）或“胡说八道”作为更合适的说法。
- 也有人指出，人类同样会构造内部自洽但错误的故事，所以“幻觉”或“虚构编造”多少还是有直观吸引力的。
理论上不可避免 vs 实际上的重要性
- 这篇论文的论证被看作是一种对角化 / 复杂性结果：有界模型（例如多项式时间的 LLM）不可能计算所有函数，尤其是一些 NP-hard 函数，因此总会存在它们失败的输入。
- 批评者说：这对任何有限系统（包括大脑）都成立，而且本身并不能说明这些失败在现实领域中出现得有多频繁、后果有多严重。
- 还有人指出，这个结果明确不允许回答“我不知道”，而且讨论的是对抗性构造的真值函数，所以它可能对日常的“幻觉问题”并没有太多说明力。
LLM、世界模型与理解
- 一派观点认为：LLM 只是下一个词元预测器，没有世界模型、概念或自我；连贯语言只是一种统计幻象。
- 另一派则认为：内部结构（例如国际象棋 / Othello 棋盘表征）表明权重中确实学到了世界模型，哪怕它是静态且难以解释的。
- 还有很长的分支讨论：与人类难以区分的行为是否足以称为“理解”，以及这个概念本身是否有清晰定义。
“我不知道”、置信度与自我反思
- 许多人认为更好的不确定性处理才是真问题：让模型在不知道时说“我不知道”，或者在回答前加上限定，而不是随便猜。
- 建议的机制包括：
- 外部控制环（RAG、搜索、工具、第二个“安全”或评估模型、对不同提示做多数投票）。
- 内部信号（困惑度、对轻微扰动提示的波动、置信度分数）来拦截或缩小回答范围。
- 怀疑者则认为当前的 transformer 并不具备真正的自我反思；任何置信度分数本身也只是另一串 token 序列。
与人类认知的比较
- 人类也会记错、虚构、顺从群体叙事、推理糟糕；有些人把 LLM 的“幻觉”看作类比现象，另一些人则强调人类更强的元认知以及在不知道时选择不回答的能力。
- 还有几位指出，类似幻觉的生成性也正是创造力和想法生成的来源；问题不在于幻觉本身，而在于如何区分什么时候它是可接受的。
缓解手段、系统设计与炒作
- 提出的缓解方案包括：模块化架构（LLM + 符号逻辑 / 知识库）、类似大脑“执行系统”的监督模块、开放世界识别，以及更强的评估流水线。
- 有人认为，LLM 将始终只是更大 AGI 类系统中的一个组件，而不会成为“神级模型”。
- 线程中既有对持续扩展规模和架构进步的乐观，也有强烈怀疑：仅靠 LLM 本身无法达到可靠的 AGI，或实现无幻觉行为。