Terence Tao：数学 2.0 [pdf]

癌症治愈思想实验与医学类比

• 一张关于 AI 设计的癌症“治愈”幻灯片引发了最大的争议。
• 许多评论者认为这个例子不妥：医学经常使用那些其机制并不被充分理解、但经验上安全有效的药物（例如麻醉剂、对乙酰氨基酚）。
• 几位评论者说，如果自己身患绝症，他们会很乐意服用一种通过了正式 III 期试验的 AI 设计药物，而不在乎是否理解其机制。
• 其他人则为这个思想实验辩护，认为它讨论的是对齐：AI 可能会“钻”试验设计或建模中的漏洞，所以只依赖试验结果而缺乏更深入的理解是有风险的。
• 有人指出幻灯片措辞已经改得更谨慎、没那么绝对；但也有人仍然觉得它令人困惑或具有误导性。

理解、疗效与对齐

• 一派优先看重经验成功：如果一种治疗、算法或证明有效并通过了稳健测试，机制就次要。
• 另一派认为，理解机制对于安全性、泛化能力以及改进方法至关重要，而“看起来有效”从长远来看并不够。
• 类比：运行无法验证的黑盒二进制文件 vs 拥有源代码和架构。

数学中的 AI：过程、证明与“数学 2.0”

• 讲座的核心主张（按一种解读）是：纯数学独特地关注理解；证明作为一个连贯的“理论代码库”的一部分才有价值，而不只是简单的对错答案。
• “把未解问题当灯塔”：如果通过不透明的 AI 证明过快解决这些问题，可能会切断人类的探索过程和技术发展，从而使周边领域变得贫瘠。
• 担忧在于：AI 证明大规模“剥采”那些较容易接近的问题，却不产生新的、可供人类理解的方法，进而恶化“年轻数学家”培养管道和激励结构。
• 反方观点：OpenAI 风格的结果已经似乎在挑战长期假设（例如次‑O(n log n) 的 FFT 风格结果），并且正在积极催生新的人工工作与改进。

对职业、激励与身份的影响

• 许多人认为，数学家正在经历一种可见的悲伤过程，类似于软件工程师、记者等在面对 AI 时经历的过程。
• 争论在于：这主要是情绪/岗位保护，还是对如何衡量贡献、以及在 AI 能解决基准问题时如何分配资金的正当担忧。
• 有人建议：将评价重心转向阐述、提炼、新概念、依赖图，以及组织大型证明生态系统。

与软件工程及其他领域的比较

• 人们提出了强烈的类比：
  • AI 代码 vs AI 证明；“它能运行” vs “它可维护且可理解。”
  • 医学的经验管线 vs 数学的证明文化。
  • 当 AI 将问题解决集中化时，可能出现单一文化和多样方法流失的风险。
• 有人认为，不管这些工具有多少缺陷，数学和代码领域的 AI 工具都会被积极使用；真正的工作是让机构、规范和角色适应这一现实。