同行评审是一种基于荣誉的体系（2008）
科学中的同行评审被描述为一种低门槛、基于荣誉和声誉的过滤机制，提供的是基本的合理性检查，而不是对真理的保证。评论者指出其系统性问题——偏见、把关、扭曲激励、审稿人缺乏问责，以及在政策、媒体和职业评估中对“同行评审”状态的误用——同时也指出，存在缺陷的工作甚至欺诈仍会经常通过这一过程。有人建议通过开放同行评审、预印本服务器和更透明、协作式的评估来改进信号与噪声的比例，同时避免给研究者增加过多负担或进一步巩固出版商的权力。
同行评审的角色与局限
- 通常被视为一道很低的门槛 / 合理性检查，而不是对真实性或科学共识的保证。
- 一篇论文的真正价值被认为体现在其后续影响和可重复性，而不是被接收本身。
- 有人认为，如果论文“只是谈话的起点”，就不应被过度用于奖励或政策；也有人回应说，专业人士本来就是这样解读它们的。
- 令人担忧的是，公众和记者把“同行评审”当作“已被证明的事实”，既助长炒作，也引发反弹。
可重复性、时间尺度与影响
- 多条评论强调，验证来自长期的复现，而不是最初的审稿。
- 有人区分“奠基性”论文（受到大量审视、已被复现）与“填充性”论文（增量工作和简历材料）。
- 历史例子（溃疡细菌、肠道微生物群、阿尔茨海默病争论）被用来说明，共识如何在多年内抵制新证据。
失败、偏见与激励机制
- 同行评审往往无法发现欺诈和伪造；文中提到了一些高调丑闻和恶作剧论文。
- 有报告称审稿人会阻挠或拖慢竞争性工作，要求自引，或强制狭隘的流行风格；有人认为这在某些期刊中比在会议中更严重，反之亦然，取决于领域。
- 以会议为中心的体系（尤其在 CS/ML 中）被批评为对抗性强、由声望驱动，并且容易受到低投入或恶意审稿的影响。
- 资助评审和“发文或出局”指标被认为会把研究引离“蓝天”式工作，转向安全、容易获资助的题目。
替代与演化中的模式
- 强烈支持公开且持续的同行评审：公开报告、可见讨论、审稿人声誉信号。
- 提到了一些使用开放或署名审稿的期刊和会议，以及带有社区评论的 arXiv 风格预印本。
- 建议包括为试探性结果与已充分复现的结果设立不同场域，以及在引文数之外建立新的“认可印章”。
科学共同体之外的使用
- 最大的失灵被指出发生在政策制定者、资助方和招聘委员会把同行评审当作深入评估的廉价替代指标时。
- 有人将此视为新闻与传播失败；也有人视为把一个设计用于专家对专家过滤的工具进行了结构性滥用。
技术与 AI
- 有人担心生成式 AI 正被用来撰写审稿意见；因此呼吁问责与署名审稿。
- 反方观点是：只要由人类对正确性负责，工具本身是可以接受的，不过对于一个由 AI 撰写的论文、再由 AI 审稿的生态系统，仍存在不安。