GPT-4 是一名优秀的数据分析师吗？（2023）

关于“GPT‑4 作为数据分析师”的总体看法

• 一些评论者认为，论文的结论（“GPT‑4 的表现可与数据分析师相当”）在该设置下被夸大了，或者实际上并没有多少意义。
• 实验被认为过于“干净”：只有小型、结构良好的表格，“SQL 101” 级别的问题，没有真实世界里杂乱的 schema、激励机制或业务背景。
• 另一些人则认为，即便在 2023 年，GPT‑4 在简单分析任务上已经看起来“相当不错”，而且模型进步太快，使这篇论文很快就显得过时。

理解 vs. 模式匹配

• 一个主要讨论线索是 LLM 是否真的“理解”什么，还是只是在做模式匹配。
• 一些人坚持认为，Transformer 只学习统计性的 token 关系，没有落地语义，也没有自我意识式的推理。
• 另一些人反驳说，学到的 embedding 和概念簇（例如狗、脸、“蛇一样”的网站）本身就是一种实际的理解。
• 一个反复出现的主题是：如果人类本身也是复杂的模式匹配器，那么这一区分可能并没有批评者想象得那么清晰。

将国际象棋与推理作为测试

• 国际象棋被用作理解与推理的测试场。
• 有人提到 GPT‑4 会自信地下出非法着法，尽管它能正确解释规则；这被视为其知识浅薄、缺乏落地的证据。
• 也有人指出，一些 LLM 变体可以达到俱乐部级 Elo，而且人类也常常知道规则，却未必能很好地执行。
• 争论的核心在于：仅仅“通过行为测试”是否足以称之为理解，还是这只是高明的模拟。

真实世界的数据工作与语义层

• 从业者指出，GPT 风格模型在一个干净的 CSV 上表现不错，但在真实数据仓库中会遇到困难：混乱的列名、拼写错误、重复数据、多个来源（Postgres、SaaS 系统）。
• 语义层和集中式数据模型被提出作为必要的支撑；它们难以构建、强依赖领域，而且大多需要人工完成。
• 一些公司正在构建工具，将 LLM 与语义层或提示“引擎”结合起来，以自主探索数据库并生成报告。

幻觉、提示词与可靠性

• LLM 经常会对研究论文和引用细节产生幻觉；即使被纠正，它们也可能只是生成下一个最可能的道歉。
• 一种看法是：把 LLM 当作“互联网的模糊 JPEG”或“习惯性说谎者 / 资深新手”，并对一切进行核验。
• 提示词质量很重要：合适的提示可以在玩具任务上生成很强的 SQL 和分析，但用户很少能编写完美提示。
• 许多人认为 LLM 是非常有用的助手，但作为唯一真相来源，或用于要求保证正确性的任务时，根本不安全。