我标记了两篇带有虚构作者的研究论文,而且两篇都被接收为口头报告

AI 生成的研究论文和审稿意见正大量涌入大型会议,暴露出当前同行评审与发表体系有多么脆弱和不堪重负。评论者描述了在“发论文不然就完”的文化、无偿审稿以及对 AI 使用政策执行宽松的共同作用下,低质量、充满虚假引用的“slop”激增,而编辑们也越来越多地尝试使用 AI 辅助审稿。讨论进一步引发了对学术激励、声誉体系以及现有制度是否能在不退回精英网络把关、或不被自动化输出洪流压垮的情况下完成适应的担忧。

研究流程的自动化

  • 评论者指出,AI 现在已被普遍用于撰写、审稿和总结论文,尤其是在 ML/AI 领域。
  • 有人认为这相当于把学术出版中的“人”给自动化掉了;也有人认为这主要是在自动化生产低质量的“slop”。
  • 还有人担心,论文中的技术现在也由 AI 来实现,这进一步减少了人类参与。

质量、“Slop”与 AI 审稿的局限

  • 许多审稿人报告称,低投入、AI 生成的投稿激增,其中包含虚构引用和浅薄的论断。
  • 不少人认为,当前 AI 无法可靠地判断研究质量;即使很多人类也难以做到。
  • 也有人承认,AI 改善了非母语作者的语法和可读性,但内容往往仍然空洞。

声誉、社会评分与问责

  • 一个提出的修复方案是为作者和审稿人建立更强的声誉体系或“社会评分”。
  • 支持者认为,透明的后果和声誉机制对于大规模科学运作是必要的。
  • 批评者警告,这类系统很容易被权力、偏见以及对“好”与“坏”行为不断变化的规范所操控,并可能变得反乌托邦。

同行评审激励与结构性问题

  • 同行评审被广泛描述为无偿、超负荷,而且常常被下放给更年轻的人。
  • 有人希望给审稿人付费;也有人指出,这可能只会进一步激励 AI 生成审稿意见。
  • 建议包括:对投稿收取保证金,若恶意灌水则没收;或者通过取消匿名、公开投稿和审稿来增加更多“羞耻成本”。
  • 一些人认为,这套系统在 AI 出现之前就已经“腐烂”了;AI 只是加速了它的崩坏。

开放获取、引用与检测工具

  • 有人把责任归咎于封闭获取出版,认为这使得引用验证更困难;也有人说,通过 DOI 和公共索引,引用是否存在本就很容易检查。
  • 文中提到用于引用图谱和自动书目检查的工具与 API;同时也担心灌水作者会用它们来掩盖明显错误。
  • 对于未披露 AI 使用和抄袭的禁令与处罚,存在争论;有人呼吁对投稿实施多年禁投,也有人指出执行并不一致。

规模、指标与学术的未来

  • 顶级 AI 会议的海量投稿被视为不可持续;审稿人拿到的大量论文都超出了自己的专业范围。
  • “不发就死”被比作用代码行数来评判程序员;它推动的是数量而不是严谨性。
  • 一些人认为当前学术模式正在失效,且可能被替代;另一些人则警告,不要在没有更好系统准备好的情况下就把它推倒重来。