NeurIPS「提前拒稿」直接刷掉11%，投稿人质疑：像是为了完成KPI随机分配的理由

机器之心报道

参与：泽南、蛋酱

看完摘要，领域主席：我觉得你这篇论文不太行。

「我收到了 NeurIPS 发来的拒稿邮件，感到有苦说不出。」今年 NeurIPS 新提出的「提前拒稿」机制，对于很多人来说有些猝不及防。

在两次推迟 Deadline 之后，全球人工智能顶会 NeurIPS 2020 终于到了论文评审阶段。最近，有关收到大会领域主席 Desk reject 的消息时常出现在社交网络上。

在一些人收到的邮件中，NeurIPS 表示：「由于 NeurIPS 近年来论文提交数量大幅增长，会方难以找到足够数量的评审者。我们今年收到了史无前例的 9467 篇论文提交。因此，我们今年使用了摘要拒稿程序：每篇论文都会经过两名不同有经验的研究者评估（领域主席 AC 和高级领域主席 SAC），决定论文是否需要接受进一步的评审。」

根据 NeurIPS 官方统计，今年大会的论文提交数量比上一年增长了 38%，再次刷新了 NeurIPS 史上的提交数量记录。

在今年提交论文的研究类型中，算法领域占据 29%，深度学习领域占据 19%，应用领域占据 18%，三者占据了绝大多数。其余分别为强化学习和规划领域 (9%) 、理论领域 (7%) 、概率方法领域 (5%) 、机器学习与社会 (5%) 、优化领域 (5%) 、神经与认知科学领域 (3%) 、数据、挑战、实现和软件等领域 (1%)。与 2019 年相比，深度学习和应用领域的比例略有下降 (两者都下降了 2%) ，而机器学习与社会则上升了 3%。

与往年不同的是，除了因重大违规行为（例如非匿名或超出页数限制）而被拒绝的研究之外，组委会也在「提前拒稿」阶段刷掉了11%的论文。最终接收结果计划在9月底之前通知作者。

很多人收到了组委会发来的拒稿邮件，理由包括但不限于：

「该提交被拒绝因为论文的版式不符合 NeurIPS 的要求，且未充分匿名化。」

但作者重新仔细检查了版式和匿名化的相关要求，并无不妥，这让人怀疑：「拒稿理由就这么随便？」

UT Austin 的助理教授 Sinead Williamson 也收到了拒稿通知，她在社交网络上的吐槽引来了人们的注意。

「拒稿原因是我们提交的结果是『已知结果』，但我有相当把握认为不是，那么领域主席是不是要写一份解释说明到底哪里重复了？」Williamson 说道。「我自己就是今年 NeurIPS 的领域主席，我 desk reject 了两篇论文，尽可能详细地写了拒稿原因，包括对于类似研究的引用，这应该是最基本的礼貌了吧。但令人失望的是，我自己的研究遭遇了『未被勾选上』形式的拒绝，如果是个学术新人，这种打击可能会更加令人伤心。」

也有其它研究者表示：「这拒稿理由竟然和我们一模一样……」

「我看过 6 个人都是因为这个原因被拒的……」如果是真的，未免也太巧合了？

这一度让人怀疑：「他们不会是为了完成 kpi，在没认真审稿的情况下，随机分配了拒稿理由吧？」

这次引发争议的第一波拒稿，源于今年二月 NeurlPS 组委会的决定。在新一届大会中，不仅投稿截止日期提前了（在因为新冠推迟之前），还将有部分论文会被提前拒绝，绝大多数作者也可能会参与审稿工作。

太长不读版：

• 今年摘要提交的截稿日期提前到 2020 年 5 月 5 日，而论文提交的截止日期是 2020 年 5 月 12 日，此次调整目的是为了让社区能够合理的处理完增加的投稿量，以及配合提前拒稿这一新政策。
• 提前拒稿：领域主席会有两个星期时间去建议哪些论文会被提前拒绝，而且目前预计将有 20% 左右的论文会被提前拒绝。紧接着高级领域主席会有一个星期的时间来审核及批准这一决定。批准之后，这些论文作者将会得到通知。
• 作者也是审稿人：此次改变提出，在需要时，论文作者或联合作者都需要同意审稿。这一改变有助于增加审稿人员的总量，并可以在提交论文的员中更加公平地分配审稿的工作量。
• 更广泛的影响：作者被要求在他们提交的文件中包含新的讨论部分，而讨论部分是关于他们的研究工作可能产生的影响，包括一些可能导致的正面的或者负面的社会影响。
• Spotlight 视频：社区要求所有作者在提交作品时都上传一段视频，主要是记录该工作的 Spotlight 展示，该视频和 camera-ready 版论文一同提交。同时，社区也在推进远程演示以及远程参会，他们也能看到这样的视频展示。

研究者们吐槽最多的问题是，这种提前拒稿机制着实有点「随机拒稿」的样子。提前拒稿确实减少了审稿人的负担，但这会让被拒绝的投稿人相当痛苦——失望来得太快，并且无法从中获得任何建设性的意见来改进论文。

最近，机器之心也收到了一些 NeurIPS 2020 论文被拒稿研究者的吐槽。来自华为的研究员谢凌曦表示，他刚刚收到了来自 NeurIPS 的 desk reject 邮件，而遭到拒稿的正是他今年自己最满意的工作，GOLD-NAS 的神经网络架构搜索算法（https://arxiv.org/abs/2007.03331）。

「我个人觉得这是一个很能启发未来 NAS 研究方向的工作。它定义了一个超大搜索空间，并论证了可微分搜索方法能够在这个空间上以单阶段、渐进剪枝的方式，稳定地找到性价比更高的结构。我们发现了很多以往从来没有研究过的结构，并且证实了他们在精度和复杂度之间取得了更好的平衡，」谢凌曦表示。

他还透露了更多拒稿细节，例如组委会为每篇 desk reject 文章提供了一份「chair note」，但是他在与其他被拒稿的同行交流后发现，组委会为每篇文章提供的 note 是完全一样的：

This submission is summarily rejected because: - There is not a significant contribution with respect to previous work; for example, the paper presents an incremental method, the gains are not significant, or the main theoretical results are variations of known results.

- The proposed approach is not supported with sufficient empirical evidence, or important baselines are missing.

通篇没有针对文章的具体描述。随后，这位研究者给组委会写了一封邮件，表达了自己的不满，得到的同样是模板化的回复：

I'm sorry, but the summary rejection decisions are final. Please be assured that your AC did read the paper, as did the senior AC who confirmed their decision.

From their internal discussion, the following concerns emerged: the proposed method did not have enough contribution because it was a collection of known techniques, and the experiments did not include enough ablation studies, making it hard to properly motivate the architectural and methodological choices made by the authors.

Even if you disagree with these arguments and motivations, you may want to consider clarifying these aspects in the future revisions of your work. I realize that this is a disappointing outcome, and I wish you the best for future submissions.

谢凌曦认为，这种敷衍的态度是对于研究者的不尊重，这种做法也是在浪费作者的宝贵时间。作为世界顶级的机器学习会议，每年都会有大量的研究者将自己最好的工作投稿至 NeurIPS，这样的拒稿方式，可能会伤害一部分研究者的热情。

参考链接：

https://medium.com/@NeurIPSConf/reviewing-is-underway-a5532d4615ec

https://www.reddit.com/r/MachineLearning/comments/hqpwvc/d_weird_nips_rejection/