【复现谷歌论文,成为共同作者】Facebook AI Lab负责人发起ICLR可重复性竞赛

【新智元导读】如今机器学习论文可复现性低成了研究界愈发关注的问题。为此,Facebook蒙特利尔AI Lab负责人联合全球5所大学,发起了机器学习可复现挑战赛,让参与者复现ICLR-18提交的论文。今年参赛者主要是学生,他们将复现的研究来自世界各地,其中不乏顶级人工智能实验室的论文。不仅如此,如果复现结论对原论文贡献重大,在原作者的要求下,参赛者还有可能作为共同作者被接收。

我们相信科学,因为我们可以验证科学结论的准确性。而验证准确性时,我们的方法是重复科学家的原始实验。那么,当原始实验无法复现的时候会发生什么呢?

2016年,Nature杂志对1500多名科学家进行了调查,发现其中70%以上的科学家曾经尝试过重复科学期刊上发表的其他科学家的实验,但没有成功,一半以上的人甚至连自己的工作都无法重复。

在人工智能的机器学习领域,实验无法复现的情况也在加剧。今年ICML会议接收的一份研究,分析了30篇AI研究论文,发现这些论文的作者在很大程度上隐去了他们训练和微调算法的关键部分,使得其他人难以复现其结果

Facebook蒙特利尔AI Lab负责人发起“反对不可复现AI研究运动”

AI大规模产业化的兴起,让如今的AI实验室有很强烈的动机发布最先进的结果,尤其是那些可能难以复现的结果。能够提高精度,实现新功能,提高效率的研究,可以使实验室的母公司在云计算等服务中获得数百万美元的收入,由此获得的声誉也更容易招揽顶尖的人才。

麦吉尔大学副教授兼Facebook蒙特利尔AI Lab负责人Joelle Pineau领头发起一项反不可复现AI研究的运动

而麦吉尔大学(McGill University)副教授兼Facebook蒙特利尔AI Lab负责人Joelle Pineau,正在与全球其他五所大学的教授合作,发起一项反对不可复现的AI研究的运动。他们在ICLR 2018举办了一项竞赛,任何人都可以参加,但Pineau表示,第一年的竞赛核心参与者是学生。这些参与者的任务是复现提交给ICLR 2018的论文。ICLR 2018采用双盲评审机制,在OpenReview网站上,学生和其他人可以在每篇论文下面添加他们的发现和意见。

“如果你在做科学,那么科学有一个过程,”Pineau说:“如果你建立的这些系统是别人无法建立的,那么你在做的就是生产伪科学,它也能提高我们的知识和理解,但这与得出科学结果是两码事。”

参与这项竞赛的学生要复现的研究来自世界各地,其中不乏顶级人工智能实验室——从著名的高校到Google,DeepMind,Facebook,微软和亚马逊等科技巨人。

Keele大学的博士生Babatunde Olorisade撰写了那篇对30篇AI研究论文进行分析的报告,Olorisade指出,大型科技公司在研究中使用的专有数据和信息在论文中没有,这一点正在使机器学习领域止步不前。

Olorisade指出,实验时计算机运行的软件,以及该软件的配置和使用的数据都是复现实验室的必要因素,这样其他人才能了解实验的原理和过程。Olorisade说:“可验证的知识是科学的基础。在验证了某种说法后,你将能够更好地理解,甚至在此基础上发展出新的分支。”

Pineau表示按预计这项可复现竞赛每年都将进行,这可以在AI界形成一种良性循环,学生学会审核研究,然后将他们在审核过程中学到的东西再带入学术界或工业界,开展其他可复现的研究。

“我希望作者在结果和宣称方面将变得更谨慎,”Pineau说:“我希望一些作者会更多考虑公开源代码以及将开放代码作为科学过程的一部分。”

ICLR 2018 可重复性竞赛:大牛的论文你来复现

通过上面的介绍,你应该对这项可复现性竞赛有了大致的了解,下面来看看具体的介绍:

任务描述

从2018年的ICLR提交论文(submissions)中选择一篇,然后复制其中所述的实验。你的目标是评估实验是否可复现,并确定论文的结论是否能得到你的发现的支持。你的结果可以是正面的(即确认可重复性),也可以是负面的(即解释你无法复现的内容,并尝试解释原因)。

从本质上讲,你可以把自己当作检查员,验证实验结果和论文结论的有效性。在某些情况下,你的角色也将帮助作者提高他们的工作和论文的质量。

你不需要复现选定论文中所有的实验,例如作者可能会尝试一种需要很多GPU的方法,而你并不具备,作者也会提供基准方法(例如简单逻辑回归)的结果,你可以选择仅复现基准结果。有时候,基线方法没有妥善实施,或者超参数搜索没有那么精心进行的情况是确实存在的。

如果作者公开了代码,那么你可以并且应该使用这些代码;ICLR也鼓励论文作者发布他们的代码来帮忙完成这项挑战。所描述的方法也可以根据论文的描述来实现/重新实现。这对重复性来说是一个更高的标准,但可能有助于检测代码中的异常情况,或者让人注意到影响结果的实施细节。

预期结果

参与者应制作一份重现性报告(Reproducibility report),描述目标问题、实验方法、实施细节、分析和结果讨论,以及论文重现性的结论。此报告应作为评论在OpenReview发布。

重现性研究的结果不应该是简单的合格/不合格,而应该是确定可以复制哪部分,以及在资源(计算、时间、人员、开发工作,与作者的沟通)方面花费多少成本。

参与者应通过OpenReview网站与ICLR作者进行沟通。在参与者对最终论文做出重大贡献的情况下,ICLR应允许增加这些参与者作为共同作者(仅应原作者的要求)。

ICLR 2018 Reproducibility Challenge 暂定2017年12月15日截止,了解更多可以访问竞赛主页:http://www.cs.mcgill.ca/~jpineau/ICLR2018-ReproducibilityChallenge.html

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2017-11-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据科学与人工智能

【数据挖掘】金融行业的数据挖掘之道

工商银行文本挖掘技术应用探索分享 工商银行在大家传统的印象当中是一个体形非常庞大但是稳步前行的形象,但是近些年来在大数据的挑战下工商银行积极应对外界变化,做一些...

2675
来自专栏CDA数据分析师

吴甘沙:数据分析师进化的3道阶梯

9月11日—9月12日,由经管之家(原人大经济论坛)主办的“2015中国数据分析师行业峰会(CDA?Summit)”在北京举行。 英特尔中国研究院院长兼首席工程...

2307
来自专栏AI科技评论

腾讯AI Lab刘霁谈机器学习,异步计算和去中心化是两大杀器

AI 科技评论按:并行计算是提高计算机系统计算速度和处理能力的一种有效手段。它的基本思想是用多个处理器来协同求解同一问题,即将被求解的问题分解成若干个部分,各部...

3425
来自专栏PPV课数据科学社区

【数据分析】互联网和金融,在数据挖掘上究竟存在什么区别?

一、数据挖掘的层次 一直想整理下对数据挖掘不同层次的理解,这也是这两年多的时间里面,和很多金融领域、互联网做数据相关工作的小伙伴,聊天交流的一些整理和归纳。大概...

4439
来自专栏人工智能头条

搜索,大促场景下智能化演进之路

2334
来自专栏大数据文摘

Teradata CTO:将筛选数据的时间用来决策,机器学习如何改变商业决策模式

2184
来自专栏新智元

【机器学习面试终极通关指南】从打造性感履历到跨越面试三大关卡

来源:Reddit 编译:费欣欣,胡祥杰 【新智元导读】 机器学习工程师薪资水涨船高,在国内,毕业生的平均年薪也达到了30-50万,一些人拿到了上百万的薪...

4136
来自专栏新智元

Facebook对话AI发展出人类无法理解语言,肇因两个智能体参数跑偏

【新智元导读】在名为 Dealor No Deal? End-to-End Learning for Negotiation Dialogues 的论文中,Fa...

4439
来自专栏PPV课数据科学社区

数据挖掘:层次性和时髦性

在银行做了两年的数据分析和挖掘工作,较少接触互联网的应用场景,因此,一直都在思考一个问题,“互联网和金融,在数据挖掘上,究竟存在什么样的区别”。在对这个问题的摸...

3826
来自专栏新智元

【技术辟谣】Facebook机器人发明语言系误读,专家访谈还原真相

【新智元导读】Facebook AI “发展出人类无法理解的语言” 火了,但这实际上源自一些媒体的误读和炒作。研究计算机是否能(非监督地)独立产生自己的语言本身...

3274

扫码关注云+社区

领取腾讯云代金券