大数据文摘出品
作者:笪洁琼、奥?vi丫、lin
密集警告!
先来感受下这场地狱级别的连连看:这是16小块实验数据图,你能看出哪些块存在相似的地方吗?
文摘菌看了一会儿就头昏眼花,但是,你相信吗?有人可以用肉眼一下子看出其中相似的地方,而且,这就是她每天的日常工作。
这位“连连看高手”就是Elisabeth Bik,人称跨国论文打假王,专门寻找论文中的异常,目前已经对超过49个国家的研究学者公开发表的论文提出质疑。
她的特殊技能是,可以用肉眼浏览数十篇生物医学类的论文,并寻找其中重复使用的图像,这些重复图像包括通过复制、翻转、移动或旋转图像的一部分来创建“新”的实验数据。
2019年11月,在PubPeer(可匿名讨论论文的网站)上,南开大学的校长曹雪涛教授,有超过40篇论文的实验图像数据,被质疑存在重复异常。(事后曹教授被质疑的论文已进行更正)
2020年2月,来自我国三甲医院的400多篇论文被她质疑是论文工厂代写,论文中的实验图像数据以及写作逻辑都存在问题。
本月初,Bik质疑中国医学科学院动物研究所所长秦川团队,在Nature上发布的论文存在重复图像,5天后秦川团队回应:误用一张病理学实验数据图片,已向Nature提交更正。
没错,这些异常都是她凭着火眼金睛找到的。
走上打假之路之前,Bik也是一名普通的研究者。
1997年,Bik在荷兰的乌得勒支大学(Utrecht University)结束了她从理学硕士到博士后的研究学习生涯,并于2002年去斯坦福大学做助理研究员,此后15年都在研究人类以及哺乳动物的微生物群方向,直到2019年开始“全职“进行论文打假工作。
Bik论文打假工作开始于2013年的一次小意外。当时Bik出于好奇,去搜索了一下自己已发表论文中引用的参考文献,没想到其他人没有按照学术规范表明,进行引用文献说明。
接着,她在审核一篇博士论文的时候,发现其中的一张实验图像:蛋白质印迹的分布规律十分奇怪,更为奇特的是她在论文的另外一章里也看到了这张图像,论文里是将这张图像作为两次不同的实验结果,但Bik认为该图像不仅本身存在问题,而且还用在两个不同的实验中。
由于该论文已经公开发表了,她为了不让其他研究者因为这篇有错误的论文,而开始错误研究的路,就向该期刊的编辑发送邮件说明这个问题,并在同年6月在PubPeer网站上对该论文进行匿名评价。
经过一番调查,相关论文被撤回,而这篇涉嫌篡改数据的论文,让Bik一战成名。
接下来,Bik开始对寻找造假实验图着迷了,由于看论文非常耗费时间,所以她辞掉了医药公司的研发总监工作,专心进行论文打假。
Bik对论文打假比本职工作更有激情,她每次提出质疑不止一篇而是好几篇,甚至是几百篇打包式质疑,并及时通过和期刊编辑联系,对存在异常的论文进行更正或者撤稿。
由于论文数量比较多,她还找到志同道合的朋友一起合作,Bik负责筛查论文,并将筛查出的问题论文结果,传给两位朋友:微生物学家Arturo和Fang进行审核,俨然一条论文打假流水线。
他们一共对2万多篇论文进行抽样调查,结果发现了782篇论文存在图像重复的情况。Fang表示:“Bik就像是魔术师,论文中的问题只有经她指出,我们才看得到”。
Bik的日常是从早上开始看论文,一天她收到了来自比利时的科学家的求助信,信中声称:请帮忙看看附件里的实验图像是否存在问题?
Bik仔细看了下图像,发现该蛋白质印迹图像属于存在异常的,通常蛋白质印迹条带分布图(一种检测生物样品中蛋白质的通用测试结果)是模糊,而且类似圆滑的黑色毛毛虫状,但图像上是边缘非常尖锐,而且像素化的特征非常明显。
正常的实验图像可能会存在类似的印迹分布,但不大可能出现完全相同的分布。
当然也可能存在图片被压缩后的痕迹,或者是研究者在准备图像数据时不小心上传了重复图像,以及旧显微镜上的斑点导致每张图上都有奇怪的斑点。她还需要参考论文的其它地方再来判断是否存在重复图像的问题。
虽然她在自传里评价自己是直率又刻薄,但她同时又极度内敛。
在她打假成名之后,有非常多的人给她发邮件、发消息,希望她能帮忙看看已发布的论文是不是存在问题。由于数量太多,让她忍不住发推声明:因为询问的人数太多,所以她可能无法及时跟进。并且在这些求助信息里,还存在团队或同事之间的不信任,“做一个诚实的科学家真难。”
虽然Bik对于目前的打假工作充满热情,但还是会受到威胁和骚扰。比如经常收到私信被骂,推特频繁被下线,写邮件给前同事说坏话之类的情况。
要知道,论文打假行业不仅仅只有她一位论文警察,就只有她是公开使用真名发布打假信息。
她开始在每篇文章的开头写上:这篇文章不是对学术不端的批评。
由于Bik持续打假,她的粉丝量在一年内翻了三倍。她不仅自己寻找问题,还将发现有问题的论文提前发到推特上,看谁能先找出来问题,并号召大家一起来找茬,第一个答对的人有奖励,甚至还有粉丝找到了她都没有找到的隐藏彩蛋。
她自己保守估计至少导致了172次论文退稿,以及超过300次修改。
Bik一天可以精读大约100篇论文,并向她的数据库中添加1到20个匹配数据。当一张重复的问题图像反复出现,以及一张熟悉的问题图像再次出现时,系统就会出现提示。当收集的图像数据足够多时,系统就可以自我总结规律,比如多次出现问题的研究者就会重点审核。(敲黑板警告)
虽然Bik表示她不针对任何人,但数据库里问题最多的研究者的国籍是中国和印度,重复的图像更喜欢低影响力的期刊。
根据这个数据库,Bik在和计算机科学家合作开发一款自动查重图片的软件,希望可以在数百万篇论文中发现重复使用的图片。
“很遗憾,我们不能克隆Elisabeth Bik,”纽约雪城大学的计算机科学家Daniel Acuna说,他的小组是专门研究问题图像检测算法,尽管Bik擅长在单篇论文里查找复制的图像,但计算机可以通过比较数十万篇或数百万篇论文,来帮助找到两篇论文之间的更多的重复,这对人类来说几乎是不可能的任务。
2018年,Acuna的团队在bioRxiv预印服务器上发布了分析的初步结果,该分析结果从760,000篇论文中提取了200万张图像。
事实证明,计算量太大,根本无法将每张图像彼此进行对比,但是该团队研究了同一作者在论文内部和跨论文的图像重复,在手动检查了软件标记的3,700多个匹配图像的样本后,研究人员确认了40篇异常论文,其中几乎一半涉及同一张图像,用于在不同的论文中代表不同的结果。
当前的技术擅长检测复制,翻转或旋转的完全相同的副本。Resis 公司有款软件,可以检测论文是否使用重复图像。比较麻烦的是,例如两张图像共享一小块重叠区域,但在其它方面完全不同。这时,软件就失效了。
Bik给Acuna提供了更多的样本数据来训练机器学习算法,其中包含了大量重复的图像数据。爱思维尔(Elsevier)也在研发同类型的数据库,现有500个生物医学方向的样本数据,主要是来自撤回论文的图像数据。
Bik对目前能用的软件都不满意。她相信未来会有计算机程序来进行筛选,但人们将始终需要审核结果,尤其是要审核在某些情况下的图像,存在部分相似的情况。
就这样,Bik倒了一杯咖啡,坐在桌旁继续看论文,落地窗外是满满的果树和植物。
https://www.nature.com/articles/d41586-020-01363-z
https://scienceintegritydigest.com/
https://scienceintegritydigest.com/2020/02/21/the-tadpole-paper-mill/
http://www.inewsweek.cn/society/2019-11-18/7721.shtml
https://mp.weixin.qq.com/s/zDLgvRQ9rgUGu-CPqtEzIQ