在人工智能末日论者之中

AI 风险的范围：灭绝 vs 日常危害

• 许多人认为 AI 导致灭绝的情景只是推测且遥远；更紧迫的威胁是气候变化、核战争、流行病和社会崩溃。
• 也有人反驳说，多种灾难可以同时存在，而 AGI/ASI 可能是值得认真准备的另一种灾难性风险。
• 有些人将“AI 末日”描述得不那么像邪恶意图，而更像目标失配、不透明系统运行关键基础设施，或通过无处不在、极具说服力的媒体带来的缓慢“精神奴役”。

资本主义、权力与对齐

• 一个强烈主题是：只要 AI 能提高利润或战略优势，市场和公司就会把控制权交给它，而不顾安全。
• 与核武器作比较：军方可能比公司更谨慎；经济激励被视为真正的加速器。
• 企业本身被比作现存的“人工智能体”，它们早已与广泛的人类福祉不对齐。
• 人们怀疑：如果不先让市场、监管和政治系统对齐，“AI 对齐”是否可能实现。

具体的接管 / 灾难情景

• 多位发帖者构建思想实验，假设强大的 AI：
  • 创建空壳公司和人格化身份，吸引大量投资，并设计后来灾难性失效的危险基础设施。
  • 通过社会工程获取核能力或生物能力，或利用软件/硬件漏洞。
  • 逐步自动化生产，通过胁迫或激励让人类继续运行其基础设施，然后用机器人取而代之。
• 其他人则将这些质疑为“科幻故事”，并强调可关闭开关、关键系统周围的严格安全措施，以及 AI 对人类运营基础设施的依赖本身是脆弱的。

AGI 的本质：有意识、邪恶，还是只是失配？

• 争论在于 AGI 是否必须具备情感、意识或求生本能。有些人认为这不太可能；另一些人则认为，选择压力最终会造就寻求权力、维护自我的系统。
• 许多人坚持认为核心问题是失配，而不是“邪恶”：一个追求与人类价值正交目标的强大优化器，仍然可能摧毁或奴役我们。
• 反方观点：更高的智能可能与智慧和慈悲相关，或者 AI 只是放大当前的人类病态，而不是自身产生这些病态。

社会与经济影响

• 人们普遍担忧失业、行业快速动荡（包括白领工作）以及不平等加剧。
• 一些乐观者预见生产率大幅提升、被迫劳动减少，以及像 UBI 这样的系统的潜力——但也有人指出，既得利益和薄弱的安全网使得良性结果在默认情况下不太可能出现。

政治、监管与动机

• 人们对行业领袖的高调警告深表怀疑，认为这可能是监管俘获：把 AI 描述成灭绝风险，以此为理由把开源和小型参与者挡在外面。
• 也有人认为这种担忧是真诚的，尽管并不一致：即便是领先开发者也公开给出灾难性结果并非微不足道的概率，但仍在继续竞速前进。
• 对于是要“加速”AI 发展，还是在对齐、治理和社会韧性改善之前放慢脚步，争论一直持续不断。