贝叶斯派从防守转向进攻

贝叶斯统计被呈现为在医学和在线实验等领域越来越有吸引力,因为来自以往研究或试验的先验信息能够切实影响新的分析。评论者围绕贝叶斯与频率学派在显式假设、先验的作用与主观性、p 值和置信区间的可解释性,以及它们对可重复性危机的贡献等方面展开对比。文中还分享了多种将贝叶斯方法用于 A/B 测试和多层模型的实用资源,同时批评者提醒,处理不当的先验可能会巩固偏差,而不是纠正偏差。

发表偏差与先验信息的使用

  • 几位评论者指出,发表偏差会扭曲贝叶斯和频率学派的结论。
  • 贝叶斯方法可以显式建模发表偏差,或通过弱先验/低信息先验编码怀疑;如果偏差可测却不加以考虑,被视为更大的错误。
  • 对于应当在多大程度上把既往试验作为先验,还是只需收集更多数据并做元分析,大家存在分歧。

频率学派 vs 贝叶斯:优势与适用场景

  • 频率学派统计被描述为计算上更容易,拥有强大的分析理论、丰富的文献,以及用于假设检验的成熟“套路”。
  • 许多人表示自己只学过频率学派方法,往往没有明确讨论假设。
  • 贝叶斯统计因能显式呈现假设与偏差、自然地适配生成式与层级模型、并在小样本或复杂多层结构下表现更好而受到赞扬。
  • 也有人认为这场争论在很大程度上是历史遗留;在数据量足够大时,两种框架往往会给出相似答案。

解释、先验与哲学

  • 支持者认为先验不可避免;真正的选择是是否把它们明确说出来。
  • 批评者认为先验在哲学上可疑,担心它会强化先前的错误,并更倾向于将“数据说了什么”与主观信念分开。
  • 讨论涉及“无信息”或弱信息先验、最大熵思想,以及“缺乏信念”是否可被表示。
  • 频率学派置信区间与贝叶斯可信区间被对比;频率学派区间关注长期覆盖率,而不是某个特定区间包含真实值的概率。

可重复性危机与假设检验

  • 几位评论者将可重复性危机(尤其是在心理学和医学中)与对 p 值、点零假设检验以及忽视效应大小的过度依赖联系起来。
  • 有人认为频率学派实践助长了“垃圾科学”;也有人说根本问题在于糟糕的推理和激励机制,而不是数学本身。

教学、工具与 A/B 测试

  • 文中建议了多种学习贝叶斯建模的资源,并强调生成式模型,而非检验“套路”。
  • 对于 A/B 测试,评论者重点提到了 beta–binomial 模型、贝叶斯多臂老虎机、上下文老虎机,以及以利润最大化为目标的 “test and roll” 设计。
  • 实际注意事项包括:当臂数很多时会变得困难、需要好的先验,以及如何处理多个指标。