创造了 Transformer 的 Google 员工

研发、税收与公司激励的作用

  • 多条评论认为“臃肿”的研发对社会是有价值的;重大的突破往往来自没有立即收入的项目。
  • 争论焦点在于研发是否真的“免税”:需要区分普通费用抵扣、研发税收抵免以及摊销规则。
  • 有人把研发税收结构视为对大型科技公司的补贴;也有人反对“免税”这种说法。

移民、多样性与人才集中

  • 很多人强调,Transformer 团队几乎清一色是第一代移民或移民子女。
  • 有人把这看作美国(尤其是加州)有效吸引全球人才的证据。
  • 也有人指出,美国的移民和签证体系并不比一些国家更具欢迎性,而且研究生项目中的多样性通常高于普通人口。

Google 错失的机会与管理层批评

  • 反复出现的主题是:Google 拥有人才、论文和基础设施,本可以成为“OpenAI”,却没有激进地把 Transformer 产品化。
  • 给出的解释包括:担心公众反弹、对搜索/Assistant 的影响、内部政治、AI 安全把关,以及 CEO/董事会的保守。
  • 有人认为这就是典型的“创新者窘境”:为了保护可能被聊天机器人颠覆的广告业务而自我束缚。
  • 也有人主张 Google 以后可以直接收购赢家,但另一些人说现代风投动态使“以后再买”并不现实。

对搜索和广告的影响

  • 一些用户已经把很多查询(尤其是技术类)从 Google 搜索转向了 LLM。
  • 一种观点认为,LLM 会侵蚀 Google 未来的广告收入,并威胁整个网页生态。
  • 反方则认为,LLM 目前主要吸收的是无利可图的事实检索查询;商业意图仍然更偏向传统搜索和广告网络。

什么算“现代 AI”以及 Transformer 的角色

  • 对于“Transformer 发明了现代 AI”这类标题,存在分歧。
  • 支持者认为,Transformer 是当前 LLM 热潮背后的核心架构,并促成了今天的系统。
  • 怀疑者则认为,进步是累积性的——注意力机制、深度网络、大数据、GPU、扩散模型以及更早的工作都很重要;“现代 AI”并不是从 Transformer 才开始。
  • 有人强调类似“苦涩教训”的简单架构扩展;也有人认为未来方向可能更依赖世界模型、记忆,以及更确定性的结构。

自动驾驶与 Transformer

  • 有人原本以为自动驾驶会定义“现代 AI”,而不是聊天机器人。
  • 也有人认为,多模态 Transformer 最终会成为更高阶驾驶能力的核心,尤其是在处理罕见/边缘情况时,但也指出当前算力和安全限制仍然存在。

先前工作与归功分配

  • 多篇帖子抱怨叙事过度把功劳归于单一公司或单一论文,因为注意力和序列模型方面早已有大量先前工作。
  • 也有人把这与历史有时如何过度简化功劳归属作比较(例如物理学或 CRISPR)。

产业界 vs 学术界与算力

  • 讨论指出,过去十年的大部分进展是由大型工业实验室而非大学推动的,原因在于算力和薪资。
  • 有人感叹,许多基础性贡献者(例如数学家、早期 ML 研究者)在大众叙述中仍然几乎不可见。

协作、办公与文化

  • 评论者注意到 Transformer 的作者们被安排在同一间办公室;有人把这视为支持面对面协作、拥有独立办公室并留出深度工作时间。
  • 也有人反驳说,典型的开放式办公室会损害专注力,主张采用平衡或混合式方案。