用于机器学习的机器学习的进展

原文 ↗ Hacker News 讨论 ↗

机器学习正越来越多地被用来优化其自身，从可在不同硬件后端自动调优张量图的编译器，到像 FunSearch 这样利用模型搜索更优算法的系统。评论者就这些进展会带来多大变革展开争论：有人认为它们是工业化的下一阶段，将重塑编程工作、药物与材料发现以及软件工具；也有人认为当前的 GPT‑4 和 Gemini 仍然昂贵、脆弱，并受限于人类定义的目标和现实瓶颈，例如临床试验。大家普遍同意，AI 驱动的优化将显著提升吞吐量和可访问性，但也怀疑它能否很快取代专家人类，或基于 Transformer 的 LLM 是否能在没有新架构的情况下无限扩展。

编程与工作的未来

  • 许多人预计，在 2–5 年内，编程实践和大多数软件工作会发生剧烈变化，“AI 工作”将成为常态，而薪资会下降。
  • 也有人持怀疑态度，指出遗留系统、变化缓慢的行业，并认为 ChatGPT 只是更好的搜索引擎、Copilot 只是高级自动补全，并不是范式转变。
  • 争论焦点在于 AI 会替代程序员，还是仅仅增强程序员能力。一些人指出，非程序员用 AI 编码，已经类似于非艺术家使用图像模型。
  • 一个反复出现的担忧是：人们或许仍然喜欢编程，但真正能因此获得报酬的人会少得多，这与其他被技术替代的手艺类似。

AI 能力、奇点与不断后移的门槛

  • 一些人认为，像 FunSearch 和 ML-for-ML 这样的工作迹象表明，“奇点”或接近 AGI 的阶段可能比预期更近。
  • 另一些人则认为，AI 在高层决策、从模糊需求中构建问题，以及应对混乱的人类组织方面仍然表现不佳。
  • 几条评论提到，曾被视为定义“AI”的里程碑（例如强对话能力 / 图灵测试）如今已被淡化，并抱怨“门槛不断后移”；而另一些人则认为，随着能力提升而重新定义目标是很自然的。

现实世界影响：科学、医学与材料

  • 讨论的一个问题是，AI 是否必须完整模拟人类才能设计安全药物；线程中的共识是，它更可能提出候选方案，再由人类和试验进行筛选。
  • 有些人认为，AI 已经显著加速了制药和材料研发的某些部分（例如蛋白质折叠、晶体结构），即便临床试验仍然是瓶颈。
  • 也有人在看到 AI 明显“治愈”疑难疾病或以清晰可见的方式减轻痛苦之前，仍然不以为然。

模型竞争：GPT‑4、Gemini 与数据

  • GPT‑4 被认为始终领先于其他大型模型（Llama、Claude、Gemini 等）。
  • 提出的解释包括：先发优势、更好的数据和数据清洗、大量使用人工标注 / RLHF，以及可能存在超参数上的“彩票效应”。
  • Gemini Pro 被视为更接近 GPT‑3.5；Gemini Ultra（据称属于 GPT‑4 级别）在这次讨论中尚未提供。
  • 有人认为 Transformer LLM 可能已接近架构上的峰值，未来收益大多只是渐进式的，并主要集中在效率上。

ML 编译器与性能预测

  • “ML 编译器”（例如 torch.compile、XLA、JAX、IREE、OpenXLA）旨在通过中间表示，在不同硬件（CUDA、AMD、TPU、CPU）之间优化计算图。
  • 其近期前景包括：自动带来速度提升（例如 PyTorch 2.0 基准中约 20–50%）以及无需定制厂商支持的可移植性。
  • 一份详细总结提到，Google 正在利用图神经网络和大量 XLA 图数据集，预测在 TPU 上大型张量图的运行时性能；目前重点是预测，而不是自动重写计算图。
  • 怀疑者认为 ML 编译器被过度炒作：在核心内核上，专家人类仍然优于它们；编译器会生成“高效垃圾”；而且它们尚未将更高层次的算法洞见反馈回来。
  • 支持者则反驳说，这与传统编译器的取舍相同——巨大的吞吐量和足够好的性能——并预计由 ML 驱动的优化器（类似用神经网络评估的象棋引擎）会变得越来越重要。

访问、教育与社会

  • 有些人预见，AI 将大幅降低编程门槛，让更多非专业人士构建软件，而学校最终会教授“如何使用模型”，而不仅仅是传统编码。
  • 也有人将 AI 视为又一场变革性的“淘金热”，类似 Web、移动和云——对许多公司来说被过度炒作，但在结构上很重要，而且很可能会长期存在。