数千名 AI 作者谈 AI 的未来
AI 研究者对“人类水平”以及超人类 AI 何时到来、以及它会有多危险的预测，从近期乐观到深度怀疑不等；有人认为人类灭绝存在不小概率，另一些人则认为现有模型和推理对于这种自信来说过于薄弱。参与者讨论 AI 风险是否应被视作气候变化、如何定义和衡量“AGI”，以及具身智能或脑规模模拟是否是必要里程碑。还有几条评论质疑这项调查的方法与偏差，强调从事 AI 构建并不自动意味着能可靠预测其长期社会与存在性影响。
与气候风险和科学模型的比较
- 有些人认为，AI 灭绝担忧与气候变化共识之间存在类比；另一些人则认为，气候模型在数量上有坚实基础且经过大量验证，而 AI 风险论证大多是定性的和推测性的。
- 评论者指出，气候变化有清晰的物理规律和详细模型，而 AI 时间表和 x 风险主要依赖薄弱或未经检验的模型以及哲学推理。
- 一种观点认为：要让 AI 存在性风险获得广泛接受，需要有带经验支撑的统计模型——而那可能来得太晚，已经没什么用了。
调查与专家意见的怀疑
- 几位评论者认为，这项调查主要测量的是炒作和既有信念，而不是可靠预测。
- 担忧包括：回应率低、受访者偏向更年轻或有激励的人群、对具体岗位缺乏领域专长（例如外科、翻译、布线），以及任务定义过于粗糙。
- 也有人指出，这项调查试图按引用次数和所属机构分层，但批评者认为，引用和机构只是衡量专业性或资历的弱代理指标。
时间线、能力与具身性
- 有些人认为，到约 2047 年“机器在所有任务上都超过人类”的概率达到 50% 是保守的，因为近来进展非常快；也有人怀疑研究者因为类似邓宁-克鲁格效应而高估了临近程度。
- 讨论焦点还包括：AGI 是否需要身体，或是否需要统一的具身智能；有些人认为 AI 与机器人学必须融合，另一些人则认为关键在于大脑模拟或抽象模型。
- 对脑规模模拟（神经元、突触、离子通道）的粗略计算估计表明，具备人脑级硬件的时间可能在 2040 年代末到 2050 年代，但评论者强调神经科学、化学和带宽方面仍有大量未知。
定义：AGI 与 ASI 以及任务自动化
- 竞争中的定义包括：
- 非常强：一个单一系统，能做任何一个人类曾经或将来会做的事（通常更像“超级智能”）。
- 中等：在大多数领域达到人类水平，具备自我学习、稳健常识和长期记忆。
- 有些人认为当前系统在狭窄领域已经超过人类，但距离成为不受监督的“远程工作者”或通过长时间对抗式图灵测试还差得很远。
灭绝机制与社会结果
- 推测中的 AI 驱动灭绝路径包括：无约束资源开采导致的环境灾难、工程化疫情，以及通过自主代理对人类进行无处不在的操纵。
- 也有人设想一种“软性”灭绝：人类逐渐融入 AI 增强，直到未改造的人类实际上消失。
- 一些人将最理想的未来情景（后稀缺、满足一切需求）视为乌托邦；另一些人则认为它是反乌托邦，因为可能失去目标与意义。