组织如何使用 AI:来自 ChatGPT 的证据 [pdf]

OpenAI 关于组织如何使用 ChatGPT 的新论文引发了褒贬不一的反应,许多人批评其结构、图表摆放位置,以及尽管有有趣的使用数据却分析深度不足。评论者质疑它更像营销而非研究,指出企业缺乏清晰、可衡量的 ROI,并强调高层自上而下的公司采用与教师等个人专业人士自发使用之间的差距。也有人提到方法学问题,并警告说,用消息量或“使用强度”来衡量,可能并不能很好反映真实的经济影响。

论文长度、格式和体裁

  • PDF 共 69 页,但核心正文约 23 页双倍行距;其余是图表、表格和参考文献。
  • 有人说它“并不算长”,也有人觉得支撑材料几乎没什么帮助。
  • 对排版存在争论:单栏、大行距、图表集中放在末尾。
  • 一些评论者指出,这在经济学 / 社会科学工作论文里很常见,并不是经过精心打磨的“白皮书”。

对研究质量与严谨性的看法

  • 有批评认为它像是一份“数据堆砌”,真正有意义的分析有限。
  • 也有人抱怨关键图表离引用处很远,增加了阅读和核对论点的难度。
  • 有人将其描述为典型的预印本质量;也有人说它“很糟”,尤其是图表。

营销、炒作与动机

  • 有人怀疑前沿 AI 实验室发布此类论文,是在做利益相关方营销,而非纯研究。
  • 甚至有人将其与加密货币 / NFT 风格的白皮书类比:看起来像是在鼓励采用,并让人“先弄清楚它到底有什么用”。
  • 也有人反驳说,某些术语(例如“通用目的技术”)是标准经济学行话,并不纯粹是炒作。

组织和学校中的真实 AI 使用情况

  • 有观点认为,大型公司可能因为合规控制更严格,而更正式地采用 AI。
  • 多个轶事提到教师会私下用 ChatGPT 来制作教案、幻灯片、游戏,并分析测试数据,且对课堂效果有积极影响。
  • 也有人表示,部分教师认为课堂中的 AI 不诚实,类似抄袭,因此拒绝使用。

教育、不平等与技术

  • 有一段很长的讨论提到,公立学校中的技术(包括 AI)可能削弱分析能力;相比之下,精英私立学校强调传统、低技术、严格的教育。
  • 也有人举出反例,说明一些公立沉浸式项目优于技术密集型的私立项目。
  • 争论焦点还包括:差异究竟更来自经费、家长背景、同伴环境,还是管理质量。

衡量投资回报率与影响

  • 有人将论文传递的隐含信息理解为:企业缺乏清晰、可衡量的 ROI;采用仍处早期,指标也不成熟。
  • 有人质疑,既然厂商在销售“智能”,为什么不更清楚地说明 ROI;也有人认为,衡量本就应由客户负责。
  • 一位评论者警告说,使用强度是经济影响的一个很弱的代理指标,尤其当初级员工比高级员工更频繁使用 AI 时更是如此。

方法学担忧

  • 批评指出,采用者样本是抽样获得的,但未采用者却使用了完整的 Compustat 总体样本,而且没有披露抽样率。
  • 有人担心这在统计上风险较大,而且可能无法考虑小规模试点部署。