Science报道新研究：同行评审后的研究仅比预印本研究质量提高4%

新智元报道

来源：sciencemag

编辑：张佳

【新智元导读】由于在期刊发表研究耗时长，每天都有大量的科研人员用预印本发布新研究，但那些经过同行评审在期刊发布的研究真的比预印本的质量高吗？近日，Science报道了一项新研究，发现差距并不大。

每天，科学家都会在诸如bioRxiv之类的公共服务器上发布很多预印本（尚未经过同行评审）研究。与作者将其发现提交传统期刊相比，预印本可以使科学家们更快地获得最新研究，而传统期刊通常需要几个月的时间才能完成评审。

但批评人士指出，预印本能提高速度，却可能失去可靠性和公信力，因为同行评审可以指出错误和缺陷。这是一个令人担忧的问题，尤其是关于医学治疗的发现，非科学家可能会误解，可能会危及他们的健康。新冠病毒大流行也加剧这些担忧。

但是，最近的一项研究得出结论，同行评审似乎并不能大大提高预印本的质量。

增幅4%，同行评审真的有用吗？

该研究是3月19日在bioRxiv上发布的预印本，将2016年在bioRxiv上发布的56个预印本与后来在期刊上发表的同行评审版本进行了比较。许多是遗传学和神经科学的研究。研究人员特别检查了最终论文是否比预印本报告了更多的关键研究细节，例如所用试剂的类型和统计方法。

论文地址：

https://www.biorxiv.org/content/10.1101/581892v3.full.pdf

然而，结果是稍有改进。平均而言，他们发现在25种类别中，审稿人在每篇文章中仅发现一个缺陷。

该研究来自巴西里约热内卢联邦大学，研究团队表示，他们的方法提供了一个客观、一致的同行评审效果的衡量标准。相比之下，对文章其他特征的评估通常涉及主观判断，这是很难比较的。但是研究团队承认，他们对透明度的衡量并不能表明审稿人是否在其他重要方面改进了文章，比如方法是否合理，结论是否有证据支持。

Steven Goodman

斯坦福大学的Steven Goodman曾研究过同行评审，但没有参与这项研究。他表示：“对于如何衡量论文的质量，以及如何最好地评估同行评审，我们在方法论上没有达成共识。” “它涉及许多方面，（报告质量）只是其中之一……说这个发现显示了同行评审在科学领域的作用，这是巨大的误导。” 他补充说，其他证据表明同行评审可以带来好处，包括减少作者结论中的“混乱”和更好地报告局限性。

不过，Goodman仍将这一研究称为“有意义的贡献”，因为未来的研究可以建立在它的方法之上，而且这种研究很少。他表示，由于缺乏资金，“这是一项非常艰巨的工作”。

“这项研究的发现表明审稿人可能会在报告方法和其他细节方面发现更多的缺陷”，论文一作兼通讯作者Clarissa Carneiro说，她是里约热内卢联邦大学的博士生。

她补充说，由此带来的透明度的提高可以帮助其他学者重现这一结果。Carneiro表示，预印本的报告质量与同行评审文章的质量基本相当，这一发现表明，科学家们在申请工作和资助时越来越多地使用预印本。 “预印本可以被认为是研究项目的有效科学成果。”

研究人员检查了56份预印本，每份均显示至少一个原始结果。在每篇文章中，他们选择在图形或表格中显示的第一个结果，然后使用一个他们从为作者和期刊创建的多个已出版指南中获得的检查表给它分配一个质量分数。

该团队发现，预印本报告质量的平均分数为68％，而经过同行评审的出版版本的报告分数为72％，尽管增幅不大，但还是有统计学意义的。按照期刊影响因子衡量，精选期刊并未显示出更大的增幅。

有几个原因可以解释为什么分数没有提高多少。Carneiro说，例如，预印本作者可能已经注意了，因为他们知道论文会被提交给同行评审。BioRxiv说其三分之二的预印本最终会出版。

斯坦福大学Meta-research Innovation Center的创始人之一Goodman说：由于许多编辑没有执行关于透明度的指导方针，审稿人可能不熟悉这些指导方针或者忽视了它们，而期刊审稿人可能没有被要求改进。

Goodman补充说，这项研究中的预印本样本数量可能太小，无法充分代表科学家发表在 bioRxiv 上的各个分支学科的多样性。

论文地址：

https://link.springer.com/article/10.1007%2Fs00799-018-0234-1

但是，2019年发表在《国际数字图书馆杂志》上的另一项研究对这项研究的发现提供了一些支持。它使用了一种自动化的方法来比较大量的预印本（将近2500个来自bioRxiv，12,000多个来自arXiv）和后来在相关期刊上发表的版本。研究小组使用统计技术来衡量预印本和正式发表版本的差异，发现差异并不大。

该研究的主要作者、洛斯阿拉莫斯国家实验室的Martin Klein说，这并不意味着同行评审毫无价值。他说，尽管如此，预印本和期刊文章为科学交流提供了各自的好处，这确实表明需要更多的研究。Klein表示，在他自己的计算机科学领域中，研究人员已经接受并依赖预印本已有几十年了，大家知道同行评审后可能会对其进行完善。“对我来说，这根本不用考虑。”

原文地址：

https://www.sciencemag.org/news/2020/03/do-preprints-improve-peer-review-little-one-study-suggests