惹争议！本科毕业生成为NIPS 2018论文同行评审

机器之心报道

参与：李泽南、李亚洲

在 NIPS 2018 大会论文接收即将结束之时，一名本科刚刚毕业的学生成为大会论文同行评审的消息引起了人们的热烈讨论。以色列 Bar Ilan 大学的计算机科学高级讲师 Yoav Goldberg（他曾在去年 6 月撰文批评过 arXiv 的不良风气，并与 LeCun 论战）对此评论道：「请搞清楚，这是『同行评议』，而不是找『评论过五个 TensorFlow 教程的人』。」

神经信息处理系统大会（Neural Information Processing Systems，NIPS）是人工智能和机器学习领域最重要的盛会。每年，来自计算机科学领域的各路专家和业界人士都会共聚一堂，共同讨论和分享有关人工智能的前沿想法。而作为大会学术内容最重要的部分，会议论文是众人关注的焦点。据悉，今年的 NIPS 大会将于 12 月 3 日至 8 日于加拿大蒙特利尔举办，而本次大会论文的提交 Deadline 是 5 月 18 日。

就在今天... 现在倒计时 17 个小时。

在大家奋力赶在时限之前提交论文的同时，机器之心注意到了社交网络上一个有趣的帖子：

题目：NIPS 2018：如何写好同行评议？

这篇帖子的题主如此写道：

我刚刚收到了一封邮件，成为了 NIPS 2018 同行评议的一员，真是 EXCITING！ 然而我只是一位刚刚毕业的本科生，即将在今年秋天开始读硕士，所以说我从来没有提交或者评审过这个大会的论文。 我该如何选择论文来评审？我需要先从阅读旧 NIPS 论文开始学习其中的规律吗？最重要的是，如何写好同行评议？

这是如何做到的？人们议论纷纷，有的人质疑其成为评审的真实性，有的人则是认真地提供自己的建议，试图向作者传授评议论文的经验。

大家对此首先的反应当然是：「如果你从未向 NIPS 或者其他机器学习会议投过论文，那你就不应该去做同行评议审别人的论文。」

sharky6000 对此评论道：（这样的学生）确实有可能成为评审。导师经常会要求他们的高年级学生去评议论文，以此作为一种练习，在这个过程中，导师也会教导学生如何去做，当然，这会帮助导师减轻负担。当你拿到了 PhD 或者开始读博士后时，你的主管或导师有时就会把你推荐到大会或杂志作评审。另一方面，近年来各个大会的论文提交数量暴涨，让评审压力山大，因此组织者已开始要求他们的审稿人提名他们所认识的人来进行审稿，有时甚至会要求正在向大会提交论文的作者进行审稿。

... 为了确保审稿人的工作量不会爆炸，据我了解，其他的会议在过去几年里也不得不做这样的事情（降低审稿人的标准）。有一年，ICLR 大会曾询问过论文提交者是否愿意帮忙审稿。

这样的解释看起来有一定的道理，不过仍然无法阻止人们惊呼：「这评审差异化有点过头了吧？」

在 Twitter 上，这个帖子也引发了一些大牛的讨论：

在此条 Twitter 留言下面，AAAI 前主席 Thomas G. Dietterich 教授、卡内基梅隆助理教授 Zachary Lipton、以色列 Bar Ilan 大学的计算机科学高级讲师 Yoav Goldberg 等。

有研究者表示，这是一种讽刺，也有研究者建议在机器学习/深度学习夏季课程这样的活动中也应该训练学生的论文评审技能。

同行评审，一直是学术会议中比较惹人争议的一个话题。例如，2017 年 ICLR 的匿名评审也曾引发争议。当时，牛津大学、Google DeepMind 和加拿大高等研究院（CIFAR）的研究人员提出的 LipNet 论文出人意料地遭拒。

在机器学习火热的今天，学术会议做好论文评审的标杆，也许会为媒体、非专业人员提供更好的参考。