《Claude 的错觉》

围绕一篇批评 Bill Gates 及其他人在自身专业领域之外过度自信的博客文章,这场讨论的底色是对科技精英关于“超人”级 AI 说法的怀疑。评论者争论:在一个领域的成功是否足以赋予其评价 AI 在生物学或现代软件工程等领域能力的权威;以及前沿模型究竟是真正具有变革性,还是只是带有明显局限的强大工具。与此同时,也有人对 AI 未来的能源与 CO₂ 影响提出担忧,而另一些人则认为气候和“AI 灾难”叙事被夸大了,更多建立在推测性的外推之上。

气候、CO₂ 与 AI/数据中心

  • 一些评论者质疑文章声称 AI/数据中心“扭转”了美国过去 15 年 CO₂ 减排的说法,认为公开排放图表只显示了近期上升,而非长期逆转。
  • 也有人回应说,真正令人担忧的是大型数据中心和燃气轮机大规模建设所带来的未来锁定排放,并认为预测显示的增幅可能足以抵消过去的成果。
  • 怀疑者认为这些预测像泡沫,假设了不现实的建设规模,并低估了未来的效率提升、可再生能源,甚至可能的核能。
  • 关于杰文斯悖论也存在争论:有人认为效率提升会被需求增长吞噬;也有人说需求并非无限,外推往往会出错。
  • 更广泛的担忧是:即便当前 AI 的电力/用水量不算高,建设计划和政策锁定也可能造成极大危害;另一些人则认为“AI 能源恐慌”被夸大了。

专业性、自负与“认知谦逊”

  • 许多人同意:在一个领域的成功可能会滋生对其他领域的过度自信;被提到的例子包括私人航空事故、地方规划,以及在不熟悉领域里的评论家。
  • 有些人批评文章本身也过于自信且带有门槛意识,要求必须有正式资质才能对 AI、生物学等问题进行检验或发表意见。
  • 也有人为认真自学和“业余专家”辩护,认为人们可以在多个领域中不靠学位而变得有能力。
  • 还提出了“认知越界”的概念:专家进入其他领域时,没有意识到那些自己并不了解的未知未知。

比尔·盖茨、生物学问题与编程经验(案例)

  • 一个主要讨论点是:这位资深科技领袖是否有资格:
    • 设计超出训练数据范围的“新颖”高中生物题目。
    • 权威地判断 LLM 在生物学或现代编程方面的表现。
  • 批评者认为:他的深厚编程经验已经是几十年前的事;现代软件生态和实践完全不同;一个富有的前程序员并不自动拥有当下的权威性。
  • 支持者认为:过去的成就和长期接触软件足以让他对编程进步作出合理判断;任何在某一学科上扎实、并持续参与该领域的人,都可以编写新的高中难度题目。
  • 有些人认为文章拿这个例子来论证在逻辑上很弱,甚至自相矛盾;也有人觉得它很好地说明了过度自信和“超人”式修辞。

LLM 的能力、局限与炒作

  • 多位评论者分享了第一手经验,认为前沿模型对编程和逆向工程具有变革性,偶尔甚至远远超过他们自己的速度和能力。
  • 也有人强调其脆弱性和“锯齿状”智能:模型可以构建可用系统,但会嵌入错误假设,难以处理深层设计问题,并在鲁棒性级别的任务上失败(例如安全的分布式系统、五个九的可靠性)。
  • 关于“超人”存在争论:有人认为,若能达到顶尖人类水平并具备不知疲倦的速度,就足以使用这个词;也有人认为,这无非就像计算器或火车在某些狭窄方面也可被称为“超人”。
  • 其下贯穿着一种分歧:一方认为当前 AI 正在改变世界;另一方则认为炒作、社会伤害和反人类激励主导了这场建设热潮。