同行评审就是个笑话！Nature最新爆料计算机生成的垃圾文章竟还能被接受，64%来自中国
同行评审就是个笑话！Nature最新爆料计算机生成的垃圾文章竟还能被接受，64%来自中国
作者 | 陈彩娴
同行评审还有救吗？昨天，AI科技评论刚刚报道，AI顶会中存在部分学者传统欺骗盲审，ACM Fellow发文怒批。一位担任过国际顶会大会主席的知名学者告诉AI科技评论，这种现象确实存在，很多同行都早已察觉，“这些年轻人对科研没有敬畏心，再不整治他们，会把整个行业搞垮。”
近日，Nature又发表了一篇文章，介绍了法国计算机科学家Guillaume Cabanac与Cyril Labbé最新一项研究：他们开发了一个叫做“SciDetect”的软件，专门搜查已发表的计算机程序自动生成论文，准确率高达83.6%！
根据Guillaume Cabanac与Cyril Labbé的研究调查，在计算机科学领域，计算机伪造论文的占比大约是：一百万篇文章中，有75篇论文是由计算机程序SCIgen自动生成的。
更值得注意的是，在最新发表的SCIgen生成论文中，有64%是由中国研究人员“撰写”，22%由印度研究人员“撰写”。
在目前确定有问题的243篇论文中，只有19％被撤回：12篇文章被正式撤回，34篇文章被悄悄撤稿。包括IEEE在内的一些出版商仍然继续出售197篇疑似SCIgen生成的文章，甚至没有给出任何警告。
科学是一个循序渐进的过程，新的发现与进步往往是建立在已有科学文献的基础上。也就是说，未来科学成果的质量与可信度取决于以往发表研究的正确性。虚假文章的泛滥，正在影响人们对科学的信任！
1 研究背景
这个问题始于2005年。那一年，就读于麻省理工学院的三名计算机博士生Jeremy Stribling、Daniel Aguayo与Maxwell Krohn出于娱乐目的，创建了一个叫做“SCIgen”的论文生成软件，还合写了一篇名为“Rooter: a methodology for the typical unification of access points and redundancy”的学术论文，投到学术会议WMSCI上，居然还被接收了！
论文链接：https://pdos.csail.mit.edu/archive/scigen/rooter.pdf
事实上，这个计算机程序只是将单词进行简单的拼凑，随机生成标题、正文与图表，文章的实验结果也是错误的，人类读者很容易就能发现这些文章的内容是胡说八道。
由计算机程序写的水文居然被举办已超过10年的会议接收，暴露了一些学术会议不经同行评审、随意接收毫无学术价值的文章的现象。这个事件在当时引发了全网的曝光与讨论。
但是，这个软件可以免费下载，所有人都可以使用它。
七年过后，也就是2012年，法国计算机科学家Cyril Labbé又在IEEE所举办的会议上发现了85篇由SCIgen生成的论文，之后又在IEEE与Springer上找到了120多篇由SCIgen伪造的论文。这些论文有些被撤回，有些被删除。
为了纠正学术界的歪风邪气，Labbé创立了一个网站，人们可以上传论文、来检查该论文是否疑似为SCIgen发明的文章。他还出资赞助了一个博士生项目，开发出一款能够帮助查找疑似SCIgen生成论文的软件，叫做SciDetect。
网站地址：http://scigendetection.imag.fr/main.php
一开始，Labbé是通过在论文草稿中搜索SCIgen词汇表中的典型单词来判断。后来，他与来自法国图卢兹大学的计算机科学家Guillaume Cabanac想到了一个新的方法：查找SCIgen输出中的典型短语。
总的来说，Cabanac与Labbé搜索这些计算机程序生成的文章时主要用到了四个方法：1）基于关键词汇；2）基于语法结构的相似性；3）借鉴Springer在2018年设计的典型短语检测方法；4）基于论文参考文献。
从去年五月开始，他和Cabanac在Dimensions数据库包含的数百万篇论文中搜索了此类短语。定位到此类短语后，他们又进行手动检查，结果发现了243条部分或全部由SCIgen创建的废话，并于5月25日在ASIS&T上发表了他们的调查结果。
论文链接：https://asistdl.onlinelibrary.wiley.com/doi/10.1002/asi.24495
这些SCIgen文章发表于2008年至2020年，出现在不同期刊、会议与预印本网站上，且大部分都属于计算机科学领域。有些论文开放阅读，有些则需要权限。
目前，有46篇文章已经从它们首次发表的网站上被撤下或删除。
之后，他们又发现了20篇这类论文，包括由MATHgen（一款生成数学研究论文的软件）与SBIR（一款生成研究提案的软件）创建的垃圾文章。
2 调查结果
根据Labbé等人对论文作者背景的调查，大部分最新发表的SCIgen生成论文都是由中国（64%）与印度（22%）的研究人员撰写。
当然，其中也可能有些论文是由别人杜撰、以他们的名义提交，但难以查究。几篇论文的一作告诉Labbé和Cabanac，他提交SCIgen生成的论文，是为了“设局”。
但是，有些论文似乎经过了认真的参考文献书单编辑，这表明：有些SCIgen生成的文章可能是为了夸大某位研究者的论文引用次数，从而提高他们的简历含金量。
研究人员发现，目前只有两篇被曝光的SCIgen论文没有被IEEE撤回（正在审核），以及一篇包含由MATHgen生成内容的论文没有被Springer论文撤回。
有些出版商面临的情况很糟糕。英国物理学会电子期刊数据库旗下的子公司IOP Publishing谈到，在没有明确证据的情况下，他们撤回了10篇论文，并正在调查为什么同行评审没有发现这些论文。IOP的经理Kim Eggleton说：“我们有合理的证据怀疑，这些论文的同行评审没有达到合格标准。”
出版最多SCIgen文章的是瑞士出版商Trans Tech Publications，他们出版了57篇SCIgen论文。此外，印度的Blue Eyes Intelligence Engineering and Sciences Publication（BEIESP）出版了54篇；法国出版商Atlantis Press（今年3月被Springer Nature收购）出版了39篇。
Trans Tech Publications和Atlantis的工作人员都对《Nature》表示，他们正在调查中，并正在撤回这些文章，而BEIESP的发言人表示，他们只出版经过同行评审与剽窃检查的原创文章。
另外，研究发现，SSRN上发表了16篇SCIgen文章。SSRN是一款预印服务器，文章在分享之前没有经过同行评审。SSRN的发言人表示，他们正在调查这个问题，并强调，SSRN对一般的预印论文进行了“有限筛选”（对医疗论文则进行了“高级筛选”）。
Cabanac担心某些出版商会以不透明的方式处理此类论文。例如，IEEE已从其网站上删除了一些SCIgen论文，但没有下达正式的撤回通知。Cabanac还指出，研究论文有时候会从SSRN中消失，而这些变动不会记录下来。
IEEE发言人表示，他们删除论文或下达撤回通知，是“取决于我们的评估结果”。SSRN没有回复有关其撤回或删除论文政策的问题。
SCIgen生成的论文数量其实相对较少：根据数据显示，Labbé和Cabanac估计，在计算机科学领域，100万篇论文中才有75篇SCIgen论文。与“论文工厂”造成的学术不端问题相比，SCIgen造成的乱象还不算严重。
大家怎么看？
相关阅读：