为什么预印本审稿没有被广泛采用?

同行评审的局限与用途

  • 许多人认为同行评审只是一个有用但脆弱的“垃圾邮件过滤器”,用来筛掉明显的胡说八道,而不是对真理或可重复性的保证。
  • 一些人认为非专业人士过度信任“经过同行评审”这个标签;在各自领域内,论文无论是否经过评审,读者都会保持怀疑地阅读。
  • 也有人反驳说,尽管有缺陷,同行评审和期刊筛选仍能显著提高信噪比,并引导读者关注更有价值的工作。

可重复性与重复验证

  • 不可重复性在发表时往往无法被发现;一些人将无法重复视为科学的预期组成部分。
  • 也有人说,审稿人可以通过诸如功效分析(power analysis)等工具,并仔细审视研究设计(例如预注册、对照组),来识别可能无法重复的工作。
  • 主要的实际障碍包括:缺乏重复验证的激励、成本高昂(尤其是在 ML 和大型实验中),以及数据/方法的隐蔽性。
  • 建议包括要求开放数据/代码,为负结果和重复尝试建立发表渠道,甚至将引用权或发表与独立重复验证挂钩——不过批评者认为这不可行,而且会偏向低风险工作。

预印本、预印本审稿与期刊

  • 在某些领域(尤其是 CS/ML),arXiv 风格的预印本实际上就是主要的交流方式;会议/期刊更多提供一个“盖章”,而不是承担核心传播功能。
  • OpenReview、eLife 的 reviewed-preprints、TMLR、PREreview,以及基于 git 的“期刊”等开放平台,被讨论为正在出现的新模式。
  • 一派希望尽量减少或取消发表前同行评审,回到仅由编辑把关,再加上发表后的开放批评。
  • 另一派强调,期刊仍然提供关键的筛选与声誉信号;没有它们,有价值的工作可能会被噪音淹没。

激励、地位与工作负担

  • “不发表就出局”(publish-or-perish)和声望指标(期刊、影响因子等)被视为碎片化论文、设计有缺陷的研究,以及不愿重复验证的根源。
  • 审稿是无报酬、耗时的专家劳动;有人建议把审稿/重复验证成本纳入资助,并为认真工作付费。
  • 怀疑者警告说,付费会激励低投入的走过场、操纵审稿人评分,以及对作者进行“咨询式”的迎合。

其他担忧与想法

  • 人们担心预印本审稿会变成另一场文化战争的战场,或变成“共识科学”。
  • 提议范围包括 arXiv 评论系统、论文上的“类似 Twitter 的社区注释”、引用时强制进行简短审查,以及在 AI 研究中使用 AI 辅助的代码/实验 QA。
  • 还有人指出,公众的不信任至少同样来自耸人听闻的新闻报道和机构激励,而不仅仅是同行评审本身。