为什么 LLM 鹈鹕看起来是这样的?
一个病毒式传播的提示词要求 AI 模型“生成一只骑自行车的鹈鹕的 SVG”,已成为衡量大型语言模型如何回应欠规格化创意任务的非正式基准。评论者指出,如今大多数系统都会产出几乎相同、通用的场景——同样的侧面视角、同样的晴空、同样的配件——并将其视为由共享训练数据和后训练对齐技术驱动的“模式坍缩”证据。有些人欢迎这种一致性,因为它适用于编码和商务图形等实际用途;而另一些人则担心这会压平创新、强化陈词滥调,并说明为什么在 AI 辅助创作中,人类的品味和指导仍然至关重要。
提示词、鹈鹕基准测试与“多样性坍缩”
- 许多人注意到,不同模型对“骑自行车的鹈鹕”会给出惊人相似的 SVG:侧视图、从左到右运动、晴朗天空、云朵、通用道路/草地、围巾/头盔、运动线条。
- 有人将此视为“LLM 多样性坍缩”的证据:模型在欠规格化提示词上收敛到同一个中心输出。
- 也有人认为这是预期之中,甚至是理想的:面对模糊请求,模型应该选择统计上最典型、最易识别的场景。
创造力 vs 可预测性
- 一派希望模型默认更有想象力;否则,AI 生成的设计、代码和写作都会收敛到乏味的同质化,可能扼杀创新。
- 另一派更喜欢可预测性:简单提示词应该得到一个尽量不出人意料、通用的结果(比如标准 PB&J 或中性的笔记本电脑图标),而不是天马行空的重新诠释。
- 几位评论者强调,想要有趣的结果需要更丰富的提示词和迭代式引导;“通用输入 ⇒ 通用输出”。
训练、RLHF 与合成数据的作用
- 关于 LLM 是否可以完全用 LLM 生成的数据训练,讨论很多;相关工作表明,这高度依赖人类“种子”数据加上合成增强,并且仍需要持续的人类筛选。
- 有人认为 RLHF/对齐和后训练会压缩多样性,把模型推向单一风格;基础模型据说更有变化,但也更“不安全”,更容易产生幻觉。
- 人们担心,随着合成数据和对齐循环增加,各模型之间的输出空间会进一步收窄。
与人类及风格趋同的比较
- 有人把它类比为孩子画房子或画通用场景:人类也会回到陈词滥调,但在人类群体中,变化仍然比当前模型对鹈鹕提示词的表现更多。
- 注意到一些偏差:从左到右的运动、图标式 SVG 风格、常见套路(篮子里的鱼、海边、围巾)都反映了训练数据和更广泛文化中的模式。
- 在公司 logo、UI 和室内设计中也能观察到类似的“同样化”;一些人认为 LLM 正在放大现实世界中已存在的趋同。
用例与工具
- 对代码而言,模式坍缩被视为一种特性:一致、无聊的实现和标准模式是可取的。
- 对艺术和设计而言,同质化则是 bug;建议的缓解方式包括:更好的提示词、外部随机性/头脑风暴工具、多模型组合,以及人类在环评审来引导风格。