NeurIPS 2019投稿规则大变化！必须回答研究可复现问题，倡导提交论文代码

乾明 发自 凹非寺 量子位 报道 | 公众号 QbitAI

NeurIPS 2019马上就要接受投稿了！但规则有了两点重大变化。

一是这一AI顶级学术会议宣布，本届所有投稿论文都要回答关于研究可复现的问题。

与此同时，他们也发出倡议，希望所有能够提交代码的论文都提交代码，但不强制执行。

在不少人看来，这些变化对于AI社区来说是一个大好事。

谷歌研究员hardmaru评论称，虽然不强制执行，但也给了评审依据，来快速拒绝那些不承诺披露代码的论文。

此外，除了这两大变化之外，还有其他三项变化，分别涉及投稿截止日期、论文作者以及附加材料。

直指AI社区争议

研究不可复现，现在已经被人称为飘浮在AI上空的幽灵，导致相关研究的可信度大大降低。

2016年，《Nature》发起的一项相关调查显示，有52%的科学家认为存在重大的可复现性危机。

AAAI Fellow、加拿大计算机科学家Joelle Pineau一直在强调可复现性对AI带来的负面影响。

在2018年的AAAI和NeurIPS会议上，研究的可复现问题讨论和关注度到了近年来的顶点。

NeurIPS 2019决定直面这一问题，任命Joelle Pineau为“复现主席”（Reproducibility Chair）来协调这方面工作。

所有提交论文的作者，都需要回答关于可复现问题的问卷。

问卷中，一共有13个问题，涉及模型、算法、理论声明以及研究结果等方面。

此外，是否提交代码，也是影响研究可复现性的一个重要因素。

关于这一问题，NeurIPS 2019也表达了态度：希望作者提交代码。

并制定了相关的细则来规范这一流程：

• 1、这一规定只适用于贡献和提出一个新算法（或对现有算法提出修改）的研究。
• 2、这一规定只是期望，并不强制执行。
• 3、接受作者重新实现时使用的代码，而不是最初运行的代码。
• 4、接受因为硬件、数据集等等问题而不可执行的代码。
• 5、只适用于已被会议接受的论文，要在10月27日前提交完成。

此外，NeurIPS 2019也指出，虽然这只是一个倡议，但其结果将会作为后续几年政策制定的参考。

同时，他们也在考虑引入更多的激励措施，来鼓励研究者披露代码。

论文提交截止日期有变

5月1日，NeurIPS 2019开始接受投稿，全文提交截止日期到北京时间5月23日中午12点。

与之前不同的是，在全文提交截止时间之前，NeurIPS 2019有设置了一个摘要提交截止日期，比全文提交截止日期早一周：北京时间5月16日中午12点。

只有在这一时间节点之前提交摘要，才被允许在5月23日之前提交完整论文。

不过，摘要和标题提交之后，后续还能修改。如果只是“占坑”提交标题或者摘要，将会被删除。

在论文全文提交截止日期之后，将无法修改论文作者。

此外，提交论文的作者，也需要在会议开始之前，必须提供下面三种材料中的一种：3分钟视频总结、PDF版本的总结PPT、会议PDF海报。（给链接就行）

NeurIPS 2019将在12月8日到14日在加拿大温哥华举行。

官方公告传送门：

https://neurips.cc/Conferences/2019/CallForPapers

关于代码披露倡议细则：

https://docs.google.com/document/d/1SBCfisdLU2A_vb7K7wI8oRBin8ZA4cA1BbasqfQr5m0/edit

研究可复现调查问卷：

https://www.cs.mcgill.ca/~jpineau/ReproducibilityChecklist.pdf

— 完 —