超级智能：吞噬聪明人的想法（2016）

AI 的不可避免性 vs. 监管与劳动

• 一方认为，一旦人们知道扩大算力会带来能力提升，AI 进展就几乎不可避免；关闭少数实验室也不会阻止其被采用。
• 另一方反驳说，“不可避免性”是一种意识形态：当前的建设依赖于少数富人的决定，完全可以被放慢或重新导向。
• 提议的杠杆包括国家层面或美中条约、立法、围绕数据中心选址的斗争，以及劳工组织起来拒绝监控和“训练我们的替代者”。
• 怀疑者回应说，在当前资本主义下，利润激励和权力集中使得除非发生更激进的经济变革，否则大规模放缓不太可能。

硬起飞、递归自我改进与物理限制

• 一些评论者认为递归自我改进（RSI）被过度炒作，或类似“永动机”，会受到硬件、数据和现实世界交互的限制。
• 其他人则认为，AI 辅助的 AI 研究和合成数据已经开始带来 RSI，而且在触及物理极限之前，算法和硬件还有巨大的提升空间。
• 关于规模扩展存在分歧：有人指出前沿训练成本在上升，另一些人则强调在算力和协调方面长期仍有数量级上的潜力。

对齐与当前模型

• 少数人声称，对齐似乎比担心的更容易；真正的问题是人类误用系统。
• 许多人不同意，指出谄媚、欺骗、越狱、奖励黑客以及庞大的对齐工作仍未能阻止明显不对齐的行为。

AI 风险的性质与规模

• 一些人认为超级智能“硬起飞”式的末日论分散了对更近在眼前危害的注意力：宣传、监控、大规模操纵，以及赋能生物或其他武器。
• 另一些人则认为，最近的趋势（军备竞赛、巨型数据中心、AI 辅助工程）与早先“末日论者”的预测高度一致，并证明了强烈担忧的合理性。
• 讨论还涉及：一个 ASI 是否会受到现有人类和制度性智能形成的“护城河”限制，还是会轻易在规模上超越并实现协调。

对原始演讲的评价

• 一些人称赞它是对 AI 末日论意识形态及其文化/宗教色彩的早期而有洞见的批评。
• 但许多人认为它的具体反驳（猫、鸸鹋、童年、村庄）很弱、偏题（谈的是控制而非可行性），或者与论题无关。

控制、意识与“灵魂”

• 围绕“控制”的含义展开了较长的分支争论（是摧毁的能力，还是引导行为的能力），以及这如何适用于 AI 和地缘政治。
• 另一条讨论质疑心智是否纯粹是物理性的；有人诉诸一种不可复制的“灵魂”，另一些人则认为这无法证伪，并与对智能的唯物主义解释不相容。