NeurIPS评审规则5大变革：增设“预审拒绝”，研究需论述社会影响

大数据文摘出品

NeurIPS2020评审系统发生了重大改变。

昨天，NeurIPS团队在medium专栏发布公告，宣布了2020会议投稿和评审的几项重要变化。

• 增加 pre-reject 阶段；
• 所有论文作者需要完成被分配的论文评审任务；
• 有修改的必须提供修改的历史列表；
• 论文中需要注明研究产生的社会影响；
• 每篇论文需要配备描述研究工作的视频。

NeurIPS（前称NIPS）可谓人工智能年度最大盛会。每年圣诞前夕，全球的人工智能爱好者和科学家都会聚集起来，发布最新研究，并进行热烈探讨。这不仅是一次大的party，也是一次重要的技术发展指向，大会的技术往往这未来几年就会演变成真正的研究甚至应用成果。

此次重大规则的更新，也反映了机器学习研究圈的重要趋势。

论文投稿数量的持续新高给评审人和会务组都带来了不小的压力，根据2019年的数据，NeurIPS会议的论文投稿量再创造新高，共收到6743篇投稿，最终录取1428篇论文，36篇oral，录取率为21.2%。增设pre-reject阶段和论文作者被分配评审任务无疑可以稍微缓解这一紧张局面。

此外，机器学习研究涉及的道德伦理问题也在引发全社会的持续关注，因此规定论文中注明研究影响，也可以让研究者们更加注重自己研究的社会影响。

会务组还发布了一条视频来说明这些改变：http://mpvideo.qpic.cn/0bf2cuaa6aaauaapm6snjvpfafodb4kqadya.f10002.mp4?dis_k=3639681ffe85728c9054a61f4a892277&dis_t=1582532437

具体改变如下：

1)今年摘要提交的截止日期调整到了2020年5月5日，论文提交的截止日期是2020年5月12日。 这能给评委会更多的时间来处理逐年增加的论文提交量，以适应审查过程的早期拒绝阶段。

2)增加pre-reject环节：区域主席会有两周时间提名pre-reject的论文。粗略预计，将有20%的论文将被预审”劝退“。随后，高级区域主席有一个星期时间来批准这个决定，这时被拒绝的论文作者将被告知，他们的论文也不会再参加进一步的评选。

3)作者即审稿人：组委会要求每篇论文的作者（合作者）都同意审稿，这一要求有助于增加审阅者数量，并在提交论文的社区成员中更公平地分配审阅的工作任务。

4)更广泛影响探究：作者被要求在提交的文件中增加一个部分，用以讨论他们的工作如何产生更广泛的影响，包括可能的、正面或负面的社会后果。

5)重点视频：组委会还会要求所有作者上传一段视频，用摄像机记录他们在论文提交时间内的工作情况，同时，组委会正在研究如何实现远程演示和远程参会。

应对持续增加的论文和参会者数量，鼓励线上参会

组委会表示早在2019年会议开幕之前，组委会就开始在为NeurIPS 2020做规划，当时重点放在了三个重要议题上，对这些议题的讨论都对审查进程或会议本身产生了一些具体的变化：

• 适应提交和与会者数量的不断增长；
• 努力解决研究的道德考虑和影响；
• 实施可持续的做法，例如支持远程参与和参与。

首先，最亟待解决的紧要问题是提交论文数量的迅猛增长，不管是提交的论文还是参加NeurIPS大会的人，每年都保持了一定的增长。虽然12月份的会议计划会有一些变化(避免海报踩踏和封锁是第一位的) ，组委会也需要利用各种方法加快审查过程。

如今，NeurIPS正试图以前所未有的规模和速度进行期刊质量的同行评审。正如去年，组委会试图在短短几周内为超过6000篇完整长论文寻找双盲、高质量的评论，今年，组委会预计门槛将进一步提高，初步预计将收到10,000份提交论文，在目前的审查程序下，这将需要30,000份审查意见，如此大量的高质量审查是无法完成的，因此正在对大会结构进行改革，以便能够有一个更易于管理的进程。

针对此情况，组委会已经决定实行pre-reject，其实，这个想法在很多年前已经被多次讨论过，直到今年IJCAI也采用了pre-reject。这应该是最直接的方法，也是期刊普遍采用的方法：质量较差或相关性较低的投稿将被编辑拒绝，而不再参加评选 。

组委会将通过要求区域主席评估分配给他们的论文，并确定高达20%的被拒论文数，以此来具体实行。被区域主席拒绝之后的论文，将由高级区域主席再次审阅，以进一步确认，同时，组委会将及时通知论文作者。质量较差或相关性较低的论文被移除之后，评审员将有更多将时间用以审阅更高质量的论文上。尽管组委会承认，对作者来说，收到摘要拒绝是很有压力的，但这也能鼓励作者提交高质量的作品。

组委会希望在审查过程中改变的另一个地方是，要求作者披露论文是否为再次提交，也就是说，论文是否曾被同行评审机构拒绝过。不仅如此，他们还需要总结并提供被拒绝的原因，列举出对当前版本进行的更改。这将为审稿人提供有用的背景信息，特别是考虑到有些审稿人可能以前已经审阅过该论文，更想知道其中的关键调整。这项举措将鼓励作者在再次提交之前改进他们的论文。

为了更好地应对与会者人数的增长，解决日益增多的国际会议带来的碳排放问题，组委会正在努力实现、甚至鼓励远程参与大会。过去几年，NeurIPS的票很快就卖光了，甚至报名票都是通过抽签系统分配的。

继去年试行成功后，今年将继续推广线上参会，这也是社区成员远程参加会议和建立社交网络的一种方式。为了更好地实现内容远程访问，今年演讲者将上传工作的视频介绍，以及用摄像机拍摄的论文版本。此外，已登记的与会者将被询问是否希望根据纸张匹配系统（paper-matching system），得到发表论文的个性化推荐，以供阅读，这是考虑到与会者在各种繁琐的程序中往往很难找到自己感兴趣的论文。同时，组委会正在想办法使演讲和海报的远程演示成为可能。

在一个理想的”同行审议经济”中，作者将根据他们提交的论文数量按比例进行审议，而提交的论文将取决于提供的审议服务的质量。因此，为了促进同行评议体系更健康、更持续的发展，组委会决定，今年，每一位合著者在接到邀请时都担任项目委员会成员，不遵守规定的作者会有论文被拒收的可能性。他们希望这一要求能够增加我们的评审人员数量，在社区中更平均地分配评审的工作量，也希望作者能够理解并充分感受项目委员会成员的努力。

最后，NeurIPS组委会也指出，NeurIPS的影响在社会中越来越大，这要归功于在会议上提出的、在工作中衍生出的无数应用。因此，所有人都有责任去思考，开发新方法和新系统意味着什么，不仅要考虑研究带来的益处，而且还要考虑潜在的邪恶用途和失败的后果。为了鼓励更广泛和更平衡的观点，组委会要求作者在他们论文的一部分专门用于讨论这些广泛影响，这个额外增加的部分可放在后8页限制连同确认和参考。

网友评论

Reddit上也针对NeurlPS的这一改变进行了热烈的讨论。

排名最高的评论是这样的：“针对这个小众的图像数据集的识别我提升了1%的准确率，这个成果将会彻底改变我们的社会。”

很显然，这条评论说的是第四条新规定，要求提交的论文有着对社会更广泛的影响，讽刺的则是之前那些只是针对某个数据集提升很小的准确率而发的论文。

还有网友针对每一条进行了评论，态度也很中立。

• 我喜欢这条规定，太多的人将会议作为对他们未完成的项目的免费反馈，有些论文仅仅从摘要上看就是显然会被拒的，另外，糟糕的论文也占用太多评审员的时间最后给出一个强烈拒绝的建议，更何况有的糟糕的论文还很长。
• 看起来很合理，我只是希望它不会让那些恶意的作者对他们认为是直接竞争对手的论文进行过于苛刻的评论，哪怕是半潜意识的。
• 不是很支持，这意味着有些糟糕的评审员将对几个会议周期产生持久的影响。另一方面，它可能会阻止作者抱着一批幸运的评论者的希望而“直到它工作为止”，但是知道一篇论文已经被拒绝了确实会影响审稿人的观点。比如有很多超级有影响力的论文，但是它们一开始就被拒绝了。
• 就像论文本身？不管怎样，不是所有的论文都应该有明显的长期持久的社会应用。在某种程度上，这不应该是一个数学会议吗？我估计我们将不得不阅读每一篇文章如何改变世界的陈词滥调。我觉得如果一篇论文有一个合理的、有趣的、长期的应用，那么很明显它会在论文中表达出来。

你怎么看NeurlPS的这一系列新变革？评论区告诉我们吧?