袭击数学的雪崩正向 AI 开发袭来
关于 AI 系统很快会递归加速自身开发并迅速超越人类专家的说法,在这里引发了强烈分歧的反应。评论者一方面拿强大研究代理和自动化数学突破的轶事来说事,另一方面又以有漏洞的代码助手的日常使用体验来反驳,并争论进展是会沿着指数曲线继续,还是会趋于平缓。技术争论之下,还潜藏着对权力集中、激励错配与监管的担忧,以及当前 AI 炒作究竟能否真正对应现实世界的生产力或生存性风险。
感知到的炒作 vs 现实
- 一些评论者认为这篇文章过度炒作,建立在站不住脚的类比、推测性的图表,以及“凭空捏造”的概率之上。
- 另一些人分享对当前 AI 工具的日常使用体验:它们擅长代码和受限的技术任务,但需要大量提示、脚手架、静态工具,而且仍会产生许多错误。
- 有人担心 AI 研究和发表中出现一场“废料雪崩”,现在已从零星的低质量变成了批量生产。
- 一些人认为,LLM 的根本强项是写代码以及处理可验证的形式化领域(例如 Lean 证明),而不是广义的“理解”。
能力、RSI 与基准
- 支持者引用内部实验室轶事:有些代理在几天内重写了长期存在的模型,自动诊断实验,并在几乎没有人工引导的情况下运行大规模消融扫描。
- 另一些人强调,真正具有变革性的递归自我改进需要在不可验证任务上取得进展,而这类任务若没有人工判断,很难建立基准。
- 反驳意见是:AI R&D 中已经有许多可验证的子任务(性能调优、编排、代码生成),即使“杂乱”的任务落后,这些子任务也能推动一个自我强化的循环。
经济与权力动态
- 有人担心 AI 会同时消灭白领和体力劳动岗位,使极少数精英囤积财富和 AI 能力,同时用 UBI + VR 安抚其他人。也有人认为 UBI 在政治上不可能,并把这看作与“旧方式”的延续。
- 一种论点是:如果超级智能真的让金钱变得无关紧要,理性的行为者就会囤积原材料、土地、能源——而不是现金——所以当前追逐金钱的行为意味着内部人士其实并不真的相信近期开出 ASI。
- 另一些人回应说,竞争压力迫使实验室把一切都投入算力去“赢得竞赛”,不管更长期的资源逻辑如何。
治理与风险争论
- 所提出的未来路径从暂停 AI、谨慎放缓,到允许快速进展并希望对齐能够奏效,再到采取极端的全球监控以阻止进一步发展。
- 鉴于 ML 可以在相对普通的硬件上运行,严格控制的可行性受到质疑。
- 有人认为 ASI 驱动的接管场景(网络攻击、军事干扰、纳米技术)是可信的;也有人把这些视为实际上等同于灭绝的场景,任何追求利润的理性行为者都不会冒这样的风险。
术语、极化与心理
- 对“超级智能”与“AGI”存在争议,尤其是在政治试图重塑 AI 术语之后;一些人认为现在使用这个词看起来很糟,另一些人则坚持它早在政治介入之前就已存在。
- 评论者把人群描述为两类(或三类)心理阵营:相信快速进步的人、不断移动门槛的怀疑论者,以及那些批评任何给出像“2030”这样具体日期却又声称不可预测性的人。