【复现谷歌论文，成为共同作者】Facebook AI Lab负责人发起ICLR可重复性竞赛

【新智元导读】如今机器学习论文可复现性低成了研究界愈发关注的问题。为此，Facebook蒙特利尔AI Lab负责人联合全球5所大学，发起了机器学习可复现挑战赛，让参与者复现ICLR-18提交的论文。今年参赛者主要是学生，他们将复现的研究来自世界各地，其中不乏顶级人工智能实验室的论文。不仅如此，如果复现结论对原论文贡献重大，在原作者的要求下，参赛者还有可能作为共同作者被接收。

我们相信科学，因为我们可以验证科学结论的准确性。而验证准确性时，我们的方法是重复科学家的原始实验。那么，当原始实验无法复现的时候会发生什么呢？

2016年，Nature杂志对1500多名科学家进行了调查，发现其中70％以上的科学家曾经尝试过重复科学期刊上发表的其他科学家的实验，但没有成功，一半以上的人甚至连自己的工作都无法重复。

在人工智能的机器学习领域，实验无法复现的情况也在加剧。今年ICML会议接收的一份研究，分析了30篇AI研究论文，发现这些论文的作者在很大程度上隐去了他们训练和微调算法的关键部分，使得其他人难以复现其结果。

Facebook蒙特利尔AI Lab负责人发起“反对不可复现AI研究运动”

AI大规模产业化的兴起，让如今的AI实验室有很强烈的动机发布最先进的结果，尤其是那些可能难以复现的结果。能够提高精度，实现新功能，提高效率的研究，可以使实验室的母公司在云计算等服务中获得数百万美元的收入，由此获得的声誉也更容易招揽顶尖的人才。

麦吉尔大学副教授兼Facebook蒙特利尔AI Lab负责人Joelle Pineau领头发起一项反不可复现AI研究的运动

而麦吉尔大学（McGill University）副教授兼Facebook蒙特利尔AI Lab负责人Joelle Pineau，正在与全球其他五所大学的教授合作，发起一项反对不可复现的AI研究的运动。他们在ICLR 2018举办了一项竞赛，任何人都可以参加，但Pineau表示，第一年的竞赛核心参与者是学生。这些参与者的任务是复现提交给ICLR 2018的论文。ICLR 2018采用双盲评审机制，在OpenReview网站上，学生和其他人可以在每篇论文下面添加他们的发现和意见。

“如果你在做科学，那么科学有一个过程，”Pineau说：“如果你建立的这些系统是别人无法建立的，那么你在做的就是生产伪科学，它也能提高我们的知识和理解，但这与得出科学结果是两码事。”

参与这项竞赛的学生要复现的研究来自世界各地，其中不乏顶级人工智能实验室——从著名的高校到Google，DeepMind，Facebook，微软和亚马逊等科技巨人。

Keele大学的博士生Babatunde Olorisade撰写了那篇对30篇AI研究论文进行分析的报告，Olorisade指出，大型科技公司在研究中使用的专有数据和信息在论文中没有，这一点正在使机器学习领域止步不前。

Olorisade指出，实验时计算机运行的软件，以及该软件的配置和使用的数据都是复现实验室的必要因素，这样其他人才能了解实验的原理和过程。Olorisade说：“可验证的知识是科学的基础。在验证了某种说法后，你将能够更好地理解，甚至在此基础上发展出新的分支。”

Pineau表示按预计这项可复现竞赛每年都将进行，这可以在AI界形成一种良性循环，学生学会审核研究，然后将他们在审核过程中学到的东西再带入学术界或工业界，开展其他可复现的研究。

“我希望作者在结果和宣称方面将变得更谨慎，”Pineau说：“我希望一些作者会更多考虑公开源代码以及将开放代码作为科学过程的一部分。”

ICLR 2018 可重复性竞赛：大牛的论文你来复现

通过上面的介绍，你应该对这项可复现性竞赛有了大致的了解，下面来看看具体的介绍：

任务描述

从2018年的ICLR提交论文（submissions）中选择一篇，然后复制其中所述的实验。你的目标是评估实验是否可复现，并确定论文的结论是否能得到你的发现的支持。你的结果可以是正面的（即确认可重复性），也可以是负面的（即解释你无法复现的内容，并尝试解释原因）。

从本质上讲，你可以把自己当作检查员，验证实验结果和论文结论的有效性。在某些情况下，你的角色也将帮助作者提高他们的工作和论文的质量。

你不需要复现选定论文中所有的实验，例如作者可能会尝试一种需要很多GPU的方法，而你并不具备，作者也会提供基准方法（例如简单逻辑回归）的结果，你可以选择仅复现基准结果。有时候，基线方法没有妥善实施，或者超参数搜索没有那么精心进行的情况是确实存在的。

如果作者公开了代码，那么你可以并且应该使用这些代码；ICLR也鼓励论文作者发布他们的代码来帮忙完成这项挑战。所描述的方法也可以根据论文的描述来实现/重新实现。这对重复性来说是一个更高的标准，但可能有助于检测代码中的异常情况，或者让人注意到影响结果的实施细节。

预期结果

参与者应制作一份重现性报告（Reproducibility report），描述目标问题、实验方法、实施细节、分析和结果讨论，以及论文重现性的结论。此报告应作为评论在OpenReview发布。

重现性研究的结果不应该是简单的合格/不合格，而应该是确定可以复制哪部分，以及在资源（计算、时间、人员、开发工作，与作者的沟通）方面花费多少成本。

参与者应通过OpenReview网站与ICLR作者进行沟通。在参与者对最终论文做出重大贡献的情况下，ICLR应允许增加这些参与者作为共同作者（仅应原作者的要求）。

ICLR 2018 Reproducibility Challenge 暂定2017年12月15日截止，了解更多可以访问竞赛主页：http://www.cs.mcgill.ca/~jpineau/ICLR2018-ReproducibilityChallenge.html