专栏首页新智元论文造假被AI抓:机器学习检测出4000多论文造假,一年损失高达10亿美元

论文造假被AI抓:机器学习检测出4000多论文造假,一年损失高达10亿美元

新智元报道

编辑:克雷格、三石

【新智元导读】在生物医学领域的论文中,AI已经搜索出9%的高度重复图像,0.59%的论文被认为存在欺诈嫌疑。因图像造假撤回的医学论文,一年时间可能浪费接近10亿美元的研发成本。

“打击论文造假,维护科研正义”。这不是一句喊口号的话。

今年6月,斯坦福大学微生物学家分析了2009-2016年发表在分子与细胞生物学(MCB)上的960篇论文,发现其中59篇(6.1%)含有“不适当的”重复图像,约有2%值得再去进行图像证伪

不过,斯坦福大学微生物学家的工作完全依靠手动,五位研究人员靠十只手从近1000篇论文里总结出了这一成果。

现在,AI的介入让论文中的可疑图像被发现的概率大大提升,一个显著的成果是,在生物医学领域的论文中,AI已经搜索出9%的图像是高度重复的,0.59%的论文被认为存在欺诈嫌疑

用AI打击论文图像造假,仍有4000多篇医学“问题论文”

使用AI来打击论文图像造假的工作是由纽约雪城大学(Syracuse University)机器学习研究员开发算法,他们分析了PubMed Open Access子集(PMOS)中截止到2015年发布的所有数据,包含了760036篇文章、超过200万的数据。

研究人员构建了一个pipeline,以自动检测不适合图像重用候选对象,在初步检测之后,删除了可能只是文本的图像或表示为图像的方程式,留下了大约200万张图片。

接着,研究人员发现每张图像平均有大约1K高熵关键点,这产生了大的相似度检测问题,研究人员使用近似最近邻算法来解决这个问题。之后,机器学习算法来估计是否显示生物图像。

检测复制-移动重用。A.癌变细胞和缩小部分的原始例子。B.关键点(高熵区域)的计算C.最近邻匹配。D.集群关键点、跨集群匹配和仿射变换。

最后,使用人工来评估不当重用。

算法检测图像区域重用,同时对旋转、裁剪、调整大小和对比度变化具有鲁棒性。总的来说,这项研究得出一个结论:在PubMed Open Access上,大约有0.59%的文章会被一致认为是具有欺骗性的。也就是说,在760036篇文章里面,大约有4484篇文章涉嫌造假

论文图像篡改可能导致一年损失10亿美元

学术研究论文中的图像造假的祸害十分普遍。

两个星期前,Science联合撤稿观察发布了一个“撤稿”报告,许多数字令人震惊:过去10年里学术期刊撤回的论文数量增加了10倍,撤稿率最高的国家中国排第7,撤稿最多的10位作者中,中国占了两人。

Top 10撤稿作者(数据来自Science)

在撤稿观察的数据库中,有18000份研究论文被撤回(最早可追溯到20世纪70年代),其中,317篇被撤回论文进行了图像篡改,约占整体论文的1.7%。

宾夕法尼亚大学生物工程副教授Arjun Raj早在2012年就指出,平均一篇生物医学研究论文背后的科学成本约为30万美元至50万美元。而柳叶刀报道称,美国研究人员在当年发表了近152000篇论文。

这样推算,即使每篇论文成本30万美元,美国研究人员在2012年发表的所有生物医学科学论文的成本也将接近500亿美元

如果2%的论文因为图像伪造需要撤回,美国可能会在2012年浪费接近10亿美元。随着全球科学产量每九年翻一番,照此计算,自2012年以来,因撤稿产生的负利润率可能会更大。

图像篡改向来如此糟糕吗?

有些研究人员认为,这么多年来,论文图像篡改问题一直在恶化。

来自美国研究诚信办公室(the United States Office of Research Integrity,ORI)的数据表明,在Photoshop发布后,他们所处理的涉及图像处理的案件比例有所增加。

技术在打击论文造假的过程中,一直是一场“猫鼠游戏”。AI除了检测图像区域重用,也成为对抗Photoshop的利器。

今年9月,Scientific Reports发表了一篇论文,文章指出,基于植物Rhus toxicondendron (毒性常春藤)的稀释度非常高的顺势疗法,至少与减轻疼痛的药物(加巴喷丁)一样有效。

不过,很快这篇介绍顺势疗法的论文,被生物学家Enrico Bucci使用的一款软件标记出来错误:在两种不同的实验中,所建议的药物浓度差别很大,而其图表却惊人地一致。

后来,论文作者回应称,他的的团队在准备手稿时犯了一些无意的错误,导致重复的图像和重复的数据。

作者表示,文本和数字之间的差异是错别字的结果。该小组将要求Scientific Reports更新该文章并进行更正。但也表示,“这不会以任何方式改变科学结论”。

AI距离自动打击论文造假还有多远?

然而,即使基于软件的方法已经被广泛讨论了近十年,使用此类应用程序的公司还是很少用软件发布他们的结果。

基于软件的方法仍然需要人为的监督支持。检测图像处理软件的开发有可能增加扫描图像期刊的数量。然而,需要注意的是,软件的使用并不能消除对人为干预的需求。软件的输出必须由人来评估。

一个领域是软件开发有可能对大型文章数据库的图像复制检测产生巨大影响,使用视觉检查技术不可能进行这种大规模的比较。

AI来检测论文图像造假在未来可能有两种形式。一是,公司可以为期刊编辑提供定制的应用程序,然后编辑可以使用这些应用程序对即将发表的论文进行分析,这可能类似于反抄袭软件的工作方式。

而另一种方法是,图像完整性分析公司将自己的人力和计算机资源分配给期刊进行图像完整性检查。

随着自动化的图像分析软件演变为一个企业,那些造假的研究人员可能会发现他们的计量很难再“瞒天过海”。然后,也许会出现另一个更为复杂的工具,使得造假的图像更难以被发现,这场“猫鼠游戏”更能还将继续。

参考资料:

https://thenextweb.com/science/2018/11/06/meet-the-people-busting-scientists-who-fake-images-in-research-papers/

https://www.nature.com/articles/d41586-018-06967-0

https://www.biorxiv.org/content/biorxiv/early/2018/02/23/269415.full.pdf

本文分享自微信公众号 - 新智元(AI_era)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-11-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 走出腾讯:一个80后技术人的信仰

    栏目简介:激荡六十年,人工智能已经起航。然而在未来面前,我们都还是孩子。究竟是“奇点临近”?还是泡沫行将破灭?为了解惑,《AI名人堂》将汇聚领航者智慧,和你一起...

    AI科技大本营
  • 干货|(书单推荐) 数据科学家&数据挖掘工程师

    以上图书,是我经常翻阅的图书,和大家分享。如果有条件的可以,阅读英文原版,更好!

    fishexpert
  • Python技巧 101:这17个骚操作你都Ok吗

    Python 是一门非常优美的语言,其简洁易用令人不得不感概人生苦短。在本文中,作者 Gautham Santhosh 带我们回顾了 17 个非常有用的 Pyt...

    昱良
  • 基于知识图谱的人机对话系统 | 公开课笔记

    人机对话系统,或者会话交互,有望成为物联网时代的主要交互方式。而语言的理解与表达和知识是密切联系的,知识图谱作为一种大规模知识的表示形式,在人机对话系统中各模块...

    AI科技大本营
  • 【书单推荐】 数据分析师&数据挖掘工程师

    以上图书,是我经常翻阅的图书,和大家分享。如果有条件的可以,阅读英文原版,更好!

    fishexpert
  • 人工智能的10个最佳框架和库

    人工智能已经存在了很长时间。然而,由于该领域的巨大改进,近年来它已成为流行语。人工智能曾经被称为总体书呆子和天才的领域,但由于各种图书馆和框架的发展,它已成为一...

    February
  • 全球首个运筹优化挑战赛冠军产生 京东献出顶级挑战引发供应链创新突破

    历时四个月,由京东主办的全球首个聚焦于智能物流、智能供应链两大无界零售基础设施的顶级运筹优化赛事圆满落幕。顶级的挑战吸引了顶级的人才,最终在「城市物流运输车智能...

    京东技术
  • 干货|机器学习在搜索排序中的应用

    作者:仁重 淘宝搜索事业部

    fishexpert
  • 理解计算:从根号2到AlphaGo 第5季 导数的前世今生

    这段外表看起来有点像区块链地址(16进制地址)的乱码,第一次让接近神的牛顿爵士不得不以一种密码学的方式声明他对另一项重要研究的首发权,而这一次,他的对手则是当时...

    SIGAI学习与实践平台
  • 大家都收藏了的最新开源项目Top12!CV、NLP、机器学习一应俱全

    【导读】作者整理了近期最新发布及更新的 12 个非常有学习和收藏意义的开源项目。这些项目中包括基于 TensorFlow 的强化学习框架;可以对数据进行结构化处...

    zenRRan

扫码关注云+社区

领取腾讯云代金券