乔姆斯基与统计学习的两种文化(2011)

统计机器学习与基于规则的语言学长期碰撞,围绕语言应如何被建模和理解展开争论。评论者将现代大语言模型这类概率性、数据驱动系统,与假定存在丰富先天语法结构的理论进行对比,争论什么才算科学解释,什么只是工程实现。讨论凸显了几个未解问题:人类究竟如何习得语言、当前AI是否提供了有意义的认知模型,以及概率方法在多大程度上能够捕捉语言使用中“创造性”的方面。

概率模型与“简单性”

  • 几位评论者质疑“概率模型是处理不确定性的‘最简单’方式”这一说法。
  • 反对意见包括:它们需要大量计算和海量数据;它们往往像黑箱一样工作,不“建模”机制,只建模相关性。
  • 也有人认为,“简单”指的是在本质上随机的现象中(例如带噪声的感知)在概念上更自然,即使计算上很重。

表示不确定性的其他方式

  • 提到的替代方案包括:带未知变量的确定性模型、三值逻辑(真/假/未知)、模糊逻辑、结合启发式的回溯/束搜索。
  • 有人认为这些方法要么更粗糙,要么只是“伪装成概率”(例如,“未知”≈0到1之间的某个区间)。
  • 在天气等应用领域,集合式概率预报被描述为迄今已知的唯一可行方法。

工程 vs 科学,以及模型在解释什么

  • 一派认为,概率/统计方法在工程上的成功,证明底层系统至少有一部分是统计性的。
  • 反对观点是:可行的技术并不自动解释自然现象(飞机 vs 鸟类,LLM vs 人类);它可能只是近似行为。
  • 讨论的焦点之一是:当前语言模型究竟是人类认知的优秀科学模型,还是仅仅强大的工具。

LLM、语言学习与先天性

  • 有人认为,LLM表明语言可以通过暴露从零学习,而智能可能没有想象中那么神秘。
  • 批评者反驳:这些模型需要比儿童多出好几个数量级的文本和算力;人类学习者拥有丰富的多模态输入,以及由进化塑造出的强先天先验。
  • 争议仍在于:语法是基于类别化的内置规则加上一些统计,还是从根本上就是统计性的、并辅以先天先验。

形式语言学与基于规则理论的地位

  • 几条评论指出,经典生成式框架在科学上曾很有影响力,但对工程任务并不出色,如今在语言学核心领域也在式微。
  • 也有人为其辩护,认为它们产生了大量关于句法的经验知识,即使其最高层理论如今已不再被广泛相信。
  • 有些人批评传统理论家对概率或统计方法的贬低是教条且具有阻碍性的。