Alan Kay 对 LLM 的看法是什么?

关于 LLM 和“可信任性”的总体立场

  • 核心担忧:LLM 不适合用于运行命令或教学,因为它们不会推理,只会进行相关性匹配并生成看似合理的文本。
  • 信任与可审计性相关:人们希望看到可验证的推理链、可解释的决策路径,以及可复现的结果。
  • 目前的 LLM 无法展示它们如何得出答案,除了模糊的 token 归因之外没有更多说明,因此被认为不适合关键任务。

消息传递、晚绑定与系统设计

  • 大量子讨论回顾了经典理念:真正的消息传递、晚绑定,以及基于活系统、图像式系统的环境(例如 Smalltalk 风格环境)。
  • 争论现代系统(HTTP、微服务、浏览器)是否真正体现了这些思想,还是只是这些思想的“变体/劣化版”。
  • 有人认为消息传递能显著提升安全性和可扩展性;也有人指出微服务往往混乱,并且需要更强的类型系统。
  • 大家对于 Alan 的指导是否过于含糊,还是在结合他的系统与研究计划后其实非常具体,也存在分歧。

LLM 在编程与教育中的作用

  • 重度用户表示 LLM 非常有用,但也经常出错,尤其是在冷门语言或小众库中。
  • “明显”的错误(编造 API)对专家来说容易识别;而更隐蔽的错误(已弃用、不安全或低效的模式)对学习者很危险。
  • 有人担心学生会借助 LLM 在计算机科学课程中“作弊”,这进一步暴露出一些教学内容本身已经过时。
  • 也有人喜欢传统编程的字面性和可调试性;他们担心不透明的 AI 层会削弱这种透明性。

认识论:相关性、迷信与胡扯

  • 一个强烈主题是:LLM 体现了“基于相关性的推理”,被比作迷信和制造胡扯,尤其是在它们流畅地为错误答案编造理由时。
  • 反方观点:基于相关性的经验主义仍然可以是可测试且有用的;迷信则发生在人们误读或过度解释相关性时。
  • 若干评论指出,人类同样不可靠、有偏见,也会胡扯,因此比较对象应该是真实的人类专家,而不是理想化的人类。

社会与经济担忧

  • 有人担心 LLM 会被用来更高效地“开采社会”,从而增加攫取、监控和大规模操纵。
  • 另一些人认为这种动态在 LLM 之前就已存在,并适用于大多数重大技术;LLM 只是又一个新杠杆。
  • 还有额外的担忧:未来互联网会充斥半真半假的内容,侵蚀人们对数字信息的信任,甚至可能影响读写规范。