辛普森悖论
辛普森悖论概述
- 被描述为一种表面上的矛盾：当数据汇总后，每个子组中的趋势会反转。
- 一些评论者强调，这并不是逻辑矛盾，只是“观察同一份数据的两种方式”。
- 关键教训：有时总体很重要；有时子组模式很重要。你必须结合上下文同时解读两者。
因果性 vs. 纯统计
- 一个强烈主题是：被动观察只能揭示相关性；因果理解需要实验或因果模型。
- 加州大学伯克利分校招生的例子：如果不了解招生决策实际是如何做出的（院系 vs. 学校整体、经费、竞争程度），仅凭数据无法判断“偏差”究竟在哪里。
- 归一化或重新缩放并不能解决悖论；你必须决定要对什么进行条件化，这本质上是一个因果问题，而不是纯统计问题。
- 提到了因果推断方面的处理方法（例如 Pearl）以及混合/分层模型，作为处理子组结构的正式方式。
现实世界中的例子
- 电子商务：类别层面的营销效率提升了，但由于组合转向高成本类别，整体营销成本比率恶化了。
- SRE / 性能：优化降低了所有用户群体的延迟，但在高延迟地区因诱导使用增长后，整体延迟指标变差了。有人争论这究竟是辛普森悖论还是杰文斯悖论（诱导需求）；也有人认为二者在不同阶段都适用。
- COVID：引用了一个例子，子组中的病死率与全国汇总数据出现了反转。
- 住房：美国数据显示，在每个州内，有空调的房子更贵，但从全国看，没有空调的房子反而更贵，因为州别构成不同。
- 机器学习 / 模型评估：一个包含更多“简单”样本的数据集会让整体准确率看起来更好，尽管各类别性能都下降了。
实践经验与 KPI
- 天真选择的指标（例如整体 p99 延迟、整体营销比率）在组合变化时可能具有误导性。
- 更好的做法：定义与底层问题紧密相关的 KPI（例如大客户的 p99 延迟、按类别的指标），然后再检查总体汇总。
- 反复强调的核心结论：始终要“同时把部分和整体都放在心里”。
相关概念与补充
- 相关思想：Berkson 悖论、Goodhart 定律、Lord 悖论、诱导需求。
- 还有一些关于悖论类型、伊壁鸠鲁式多假设思维，以及关于物理实验与是否需要统计学的简短哲学讨论。
- 另有一条元讨论：HN 上裸 Wikipedia 链接泛滥却没有补充上下文。