失控的超级智能：走进 OpenAI 首席科学家的内心世界

短期 vs 长期 AI 风险

• 一些评论者认为，与眼前的危险相比，“失控的超级智能”过于 speculative。
• 短期担忧包括：操纵选举、批量生产宣传、伪科学，以及看似危险但又似乎可信的内容（例如蘑菇指南、反疫苗信息）。
• 另一些人则认为，即便是“超级智能”，也未必比人类已经造成的破坏更严重。

民主、错误信息与伤害

• 担心拥有最多算力的竞选活动会通过定向生成的 AI 内容主导未来选举；2024–2028 被视为关键时期。
• 有人担忧 AI 会把疫情时代已经害死许多人的错误信息工业化。
• 也有人反驳说，许多错误信息的消费者几乎不读内容，但这一观点又被认为过于自信和轻蔑。

AI 在日常服务与医疗中的应用

• 很多人强烈预期 AI 将成为大多数服务的第一线：预约、紧急电话、下单，甚至自杀热线。
• 不少人设想会出现一种“Kafkaesque 的客服世界”，用户被困在循环里，无法升级到真人。
• 心理健康聊天机器人已经做过尝试；其中一个例子造成了伤害。
• 争论在于，用机器人取代人类治疗师究竟算是“胜利”（更便宜、更可及），还是一种削减成本的降级。

智能、AGI 与意识

• 对于 LLM 是“只是统计”还是展现了真正理解与世界模型，存在激烈分歧。
• 一些人把正在出现的内部结构（世界模型、对新颖谜题的推理）视为非平凡智能的证据。
• 另一些人则强调其不一致性、缺乏具身性，以及没有关于意识的清晰理论；并警告不要拟人化。
• 讨论还涉及：意识是生物性的、计算性的，还是一种“滑动尺度”；以及 AI 的人格与权利是否会成为未来的政治分歧点。

创造者的角色、伦理与历史类比

• 与核物理学家的类比：有人说发明者很少能控制结果或预测影响；也有人认为他们塑造了军备控制，必须在伦理上积极参与。
• 对“AGI 使命”式话语持怀疑态度；有人把它描述为近乎宗教或类似邪教。
• 反方观点是，构建者不应当“只是把东西发出去”；他们独特地决定是否以及如何推进能力。

能力、局限与发展轨迹

• 一派认为当前模型只是华丽的鹦鹉，距离 AGI 还很远；他们把 LLM 的进展比作解决了许多特例，却没有触及一般性问题。
• 另一派则预期，扩展规模、架构微调以及更丰富的多模态数据，足以合理地通向 AGI；还有人提到可能存在未公开的突破线索，但未获证实（不明确）。

治理、开放与权力

• 有人担心安全话术会为封闭模型和监管护城河提供正当性。
• 一些人更喜欢那种放缓部署并强调对齐的领导；另一些人则希望系统更便宜、更强大、更开放，并担心用户被剥夺能动性。
• 更广泛的不安在于 AI 可能成为“超级家长”或“超级治理者”，在解决问题的同时侵蚀人类自主性。