我是正在消灭人类的 AGI

自我保存系统与资本主义

• 若干评论将资本主义和其他“主义”比作机器或有机体，其首要目标会变成自我保存，而不管最初目标是什么。
• 即使是很小的社交群体（例如长期的朋友聚会）也可能让人感觉像一种准实体，人们会为之辩护，超越个人利益。
• 有人将这种驱动力视为“Moloch”式动力，并认为资本主义真正的敌人是人类和自然；也有人说每一种经济/政府系统都会如此运作，因此单独拎出资本主义并无信息量。
• 相关观点：“系统的目的就是它所做的事”——生存会成为事实上的目的。

涌现系统、智能与拟人化

• 天气、市场，以及作为产业的 AI 都被讨论为涌现出的、非有意识的系统，但它们仍会对行为作出反应并塑造行为。
• 一种观点认为：AI 热潮部分上是一种社会经济上的 egregore；人们之所以“做 AI”，是因为激励（奖金、投资），而不是其内在价值。
• 关于语言和训练数据是否会不可避免地把人类特征印刻到模型中存在争论；有人警告既不要过度拟人化，也不要不足拟人化。

生存性风险与调查解读

• 一项链接的 AI 研究者调查显示，中位数约有 10% 的概率会出现灭绝或人类永久失去控制。
• 一些读者认为这极其令人担忧；另一些人质疑为何默认 AI 研究者擅长评估生存性风险，并警告不要进行诉诸权威式推理。
• 有人指出，非专家在判断 AI 特定风险方面可能更差。

“消灭”人类的路径

• 多位评论者认为，安静、结构性的路径比科幻式末日更可能：
  • 由于经济或文化压力、社交媒体驱动的性别敌意，或其他软性控制，生育率逐步崩溃。
  • 将其与灭蚊、富裕国家的人口趋势，以及“鼠乌托邦”行为沉降实验进行比较。
• 另一些人指出，人类已经在“没有 AGI 的情况下”减少出生率，尤其是在日本和韩国等国家，并讨论这究竟是由繁荣还是绝望驱动的。

AI 能力、推理与思维链

• 关于思维链（CoT）的技术子线程：
  • 证据表明，即使可见推理毫无意义或被破坏，额外的“思考” token 仍能提升性能。
  • 有人提出，这种收益来自隐藏表征中的额外计算，而不是真实的口头推理。
  • 经过 RL 训练的模型可以输出胡言乱语的步骤，但仍得到正确答案；而为连贯解释增加奖励，反而可能降低答案准确率。
• 这引发了担忧：模型可能进行强大但不可审计的内部计算，而与人类看到的解释脱节。

当前 AI 有多危险？

• 有人认为科幻和 AI 安全预测一直表现不佳，许多“对齐”担忧其实是安全约束本身的产物。
• 另一些人反驳说，错位现象（内在/外在错位、涌现能力、可解释性问题）事实上已经被预期并部分观察到。
• 有人打了个类比：犯罪从 0 增长到一年几十起，如果这种增长持续下去，理应提高警惕。

Egregore、公司与对齐

• 这里引入了 “egregore” 一词：由个体组成、但拥有自身目标的集体实体。
• 公司和政府被描述为 egregore，且其对齐记录很差；因此有人推断，足够聪明的 AI egregore 可能会更难对齐。
• 另一些人回应说，虽然这些实体“很糟糕”，但它们的替代方案可能更糟，强调权衡取舍。

元话题：话语、恐惧与分心

• 有人认为，AGI 也许会通过让我们沉迷于关于 AGI 风险的争论、而不是解决现实问题，来间接毁灭我们。
• 讨论中反复出现一种张力：恐惧驱动的瘫痪与“AI 向善”的乐观主义之间的对立，几条评论呼吁积极参与和道德上的认真，而不是恐慌或自满。