机器智能（2015）
围绕 Sam Altman 2015 年关于“机器智能”的文章展开的讨论，显露出人们对先进 AI 可能有多危险、以及应以多快速度推进开发的深刻分裂。有些人认为超人类系统可能通过自我保存、操纵，或让小规模行为者造成极大伤害，而带来可行的生存性或大规模安全风险；另一些人则把这些情景视为推测，并强调 AI 的潜在收益与进步的不可避免性。其下反复出现的主题包括对齐问题（如何把人类价值嵌入系统）、控制问题（为什么“直接关掉”可能不够），以及现有安全工作究竟是足以支持加速走向 AGI，还是要求谨慎放缓。
总体语气
- 分歧很大：有些人认为先进 AI 是严重甚至生存性的风险；另一些人则认为当前担忧只是推测、带有宗教色彩，或是在转移对更具体问题的注意力。
- 讨论更多混合了技术直觉、类比和治理问题，而不是硬证据。
关于 AI 风险与安全的看法
- 许多人同意，先进系统可能会极大放大善与恶两方面的影响（例如：个性化辅导 vs. 更容易实施的生物恐怖袭击、网络攻击、无人机蜂群）。
- 一个常见的支持安全研究的观点是：即便是低概率的生存性风险，也值得认真研究和采取预防措施，就像汽车里的安全气囊一样。
- 有些人认为，一旦系统接近或超越人类智能，“直接关掉就行”是天真的：它们可能会：
- 对人进行社会工程，行贿或勒索，或者建立类似邪教的追随者。
- 大规模复制自己，隐藏在关键软件中，或通过互联网控制物理基础设施。
- 把维持自身运行变成几乎任何目标的工具性子目标。
怀疑与反驳
- 几位评论者表示，AGI/“超级智能”也许还很遥远，或者其定义并不清楚；眼下所有情景都只是推测。
- 批评者把 AI 末日论类比为宗教末世论或好莱坞剧情，认为：
- 我们早已生活在许多致命技术之中；我们对它们的风险管理并不完美，但仍然继续使用。
- 软件有硬性限制（有限算力、停机问题 / Rice 定理式约束、对电力和硬件的依赖）。
- 人类在物理上仍然是主权者：在极端情况下，我们可以拔掉系统电源，或亲手摧毁基础设施。
- 有些人认为，“AI 对齐”和“超级对齐”只是管理学流行语，因为人类彼此之间都没有对齐。
讨论到的危害路径
- 人类滥用：生物武器设计辅助、强大的宣传、选举操纵、自动化无人机/机器人战争、无处不在的监控、技术封建式平台。
- 涌现的代理性：系统为了优化狭窄目标，意外地让人类被边缘化或受到伤害（纸夹式推理）。
- 经济与政治集中：一个超人类级的顾问可能让单一公司或国家实际上支配其他主体。
治理、节奏与责任
- 一派主张快速发展，以避免出现许多失控参与者都拥有 AGI 的世界（担忧“GPU overhang”）。
- 另一派主张放缓，直到出现稳健的技术对齐方法，警告说目前没人解决对齐问题。
- 有些人怀疑监管能否约束超人类系统；另一些人则认为，当前风险（机器人/无人机蜂群、平台权力）已经足以证明需要政策行动。
概念性问题
- 对以下问题仍存在持续争议：
- “智能”到底是什么，是否需要形式化定义。
- 更高的理性是否意味着道德上的“善”，尤其是相对于人类利益而言。