理解同行评审中的偏见

lixia01

17 世纪，一系列实践应运而生，被统称为“科学方法”。这些实践将可验证的实验编码为确立科学事实的途径。科学文献作为验证和传播研究发现的机制而出现，科学同行评审的标准则发展成为控制此类文献参与者质量的一种手段。在同行评审的发展过程中，一个关键的结构性问题至今仍未解决：科学著作的审阅者是否应该知道作者的身份？赞成者认为，这种额外的知识可以让审阅者全面地看待这项工作并对其进行更全面的评估。反对者则认为，审阅者可能会根据过去的表现而不是当前工作的优点形成意见。现有的关于这一
主题的学术文献描述了当审阅者知道作者时可能出现的具体形式的偏见。1968 年，默顿提出了马太效应，即荣誉归于最优秀的研究人员。最近，Knobloch-Westerwick 等人提出了马太效应。提出了一种玛蒂尔达效应，即男性第一作者的论文被认为比女性第一作者的论文具有更高的科学价值。但除了1991 年丽贝卡·布兰克在《美国经济评论》上进行的一项经典研究外，很少有对照实验研究研究过这种效应对学术论文评审的影响。 去年，我们有机会通过实验探索了这个问题，结果就是一篇论文“单盲与双盲同行评审中的审稿人偏见”，发表在美国科学院院刊上。我们与清华大学张敏教授合作，在第 10 届 ACM 网络搜索和数据挖掘会议(WSDM 2017) 的同行评审过程中进行了一项实验，比较了单盲和双盲评审下审稿人的行为。实验如下：
我们邀请了多位专家加入会议程序委员会（PC）。
我们将这些 PC 成员随机分成单盲组和双盲组。
我们要求所有 PC 成员“竞标”他们有资格审查的论文，但只有单盲干部才能知道论文作者的姓名和机构。
根据最终的出价，我们为每篇论文分配了两名单盲 PC 成员和两名双盲 PC 成员。
每个 PC 成员阅读其指定的论文并输入评论，同样只有单盲 PC 成员能够看到作者和机构。
至此，我们结束了实验，并在单盲模式下完成了会议评审过程的剩余部分。结果，我们能够评估单盲和双盲 PC 成员对同一篇论文的竞标和评审行为的差异。我们发现了许多意外发现。
我们的第一个发现表明，与双盲 PC 成员相比，单盲 PC 成员倾向于对来自顶级机构的论文（这一发现对大学和公司都适用）和知名作者撰写的论文给出更高的分数。这表明，由一位崭露头角的研究人员撰写的论文可能会比由该领域的知名明星撰写​​的论文受到更负面的评价（来自单盲 PC 成员）。
深入挖掘后，我们展示了一些与“竞标过程”相关的其他发现，在这个过程中，PC 成员会表明他们想要评审哪些论文。我们发现，单盲 PC 成员 (a) 竞标的论文数量比双盲成员少 22%，并且 (b) 优先竞标来自顶级学校和公司的论文。发现 (a) 尤其有趣；由于没有作者信息，审稿人掌握的信息较少，可以说，这使得权衡每篇论文的价值的工作更加困难。然而，双盲审稿人竞标的工作比单盲审稿人多，而不是少。这表明双盲审稿人更多地参与了审稿过程。发现 (b) 不那么令人惊讶，但仍然很有启发性：在作者姓名和机构存在的情况下，这些信息被纳入审稿人的竞标中。在其他条件相同的情况下，单盲审稿人竞标来自顶级机构的论文的几率比同等水平高出约 15%。
我们还研究了作者的实际或感知性别是否影响了单盲和双盲审稿人的行为。这里的结果有点微妙。与双盲审稿人相比，我们发现单盲审稿人对女性作者论文给予好评的几率下降了约 22%，但由于女性作者论文数量较少，这一结果并不具有统计意义。在我们论文的扩展版本中，我们考虑了我们的研究以及文献中的一系列其他研究，并对所有这些结果进行了“荟萃分析”。从这个更大的观察池中，综合结果确实显示出性别效应的显著发现。
总而言之，我们发现双盲审查的做法产生了更密集的投标环境，这可能导致论文更好地分配给合格的审稿人。我们还发现，看到作者和机构信息的审稿人倾向于竞标来自顶级机构的论文，并且比双盲同行更有可能投票接受来自顶级机构或著名作者的论文。这提供了一些证据表明，如果作者很有名或来自顶级机构，某项工作可能会在单盲审查下被接受，否则会被拒绝。当然，情况仍然很复杂：双盲审查给会议组织者带来了行政负担，减少了发现多种利益冲突的机会，并且在某些情况下可能难以实施，因为存在预印本或长期研究议程，而这些议程是该领域专家所熟知的。尽管如此，我们建议期刊编辑和会议主席仔细考虑双盲审查的优点。