ICLR 2023忽悠人来审稿？论文审稿人说了不算，还得和AC开会评定

新智元报道  

编辑：好困 Joey

【新智元导读】近日，ICLR 2023在给审稿人的一封邮件中透露将在今年加入AC与审稿人直接讨论的模式来决定borderline论文的取舍，引发热烈的讨论。

2023年的ICLR大会将引入了一种全新的审稿机制。

据邮件显示，对于那些处在「被拒边缘」的论文，将由审稿人和领域主席直接开会决定是否接收。

今年，我们将引入AC与审稿人线上会面和讨论的新模式来决定borderline论文的接受与否。这项举措是为了确保我们接收的论文是经过审稿人积极的讨论和深思熟虑后得出的结果。

对此，毕业于清华的华为高级研究员@谢凌曦表示，ICLR的审稿新规可以说是为了挽回大家对学术会议在审稿质量方面的信心的一次非常好的尝试。

毕竟审稿的质量如何，基本上取决于审稿人的态度，要是碰到个「佛系」的主，可能呕心沥血的学术成果就这样被草草地埋没了。

有了审稿人与AC「在线battle」的加入，多少能为学术论文审稿质量把把关，不至于让审稿人一句话就打发了。

回答链接：https://www.zhihu.com/question/546262797/answer/2603848885

然而，本来需要审的论文数量就多，还要花费大量时间在讨论上，这样相当于是给审稿人和AC都增加了不小的工作量。

不过，类似的制度（TPC meeting）倒也不是什么新鲜事，只是参与的成员基本都是AC这个级别的，让审稿人也加入讨论应该还是第一次。

邀请也「黑箱」？

除了不知效果如何的全新机制，本次ICLR在招募审稿人的时候也堪称「黑箱」。

有网友发现，审稿人无法提前得知自己将面临多大的工作量，只有当你选择拒绝邀请时，才能看到减少审查负担的选项。

然而，具体减少多少也还是没说。或许只能在点击接受之后，答案就才会揭晓。（上了贼船就跑不了了）

此外，不要忘了，审稿工作还包括了讨论borderline论文的虚拟会议。

因此，这位网友认为，ICLR如此回复不仅语气「霸道」（你爱接受就接受），还误导了那些愿意接受邀请并设定个人审稿量的作者。

也有网友认为，如果放开了让每个选择「是」的人都能选择自己想要的论文数量，那么有关审稿人的危机将会发展到何种地步。

不过，也正如大会邮件所说，审稿人的工作量在很大程度上取决于投稿的数量，而且ICLR也表示将会尽可能把分配的论文数量保持在最小的程度。

另一方面，现在少得可怜的审稿人数量，一定程度上也会由于约等于「白嫖」的待遇。

首先，大部分机器学习顶会的审稿费用都是Zero Profit，就是义务无偿劳动。

另外，审稿人负责稿件的数量、审稿的质量自己并没有自主权，全凭组委会和其他AC说了算。

要说审稿的好处，大都是一些隐形利益。

比如可以在学术简历中加入某某期刊regular reviewer，至少在青教阶段给简历撑撑门面。

另外可以和编辑混个脸熟，以后在圈内混，这些掌握顶层资源的编辑或许能记着你的苦劳。

怪不得网友吐槽：

高洁一点的说法是，为了学术奉献。

现实一点的说法是，为了教职/简历加分/美国EB1绿卡/跟编辑混个脸熟。

没有最难，只有更难

在2010年之后，随着神经网络的崛起，带动了一大票学者进入到AI的学习及应用领域。

同时，越来越多的投稿作者也都抱着免费拿一次评审意见也是不错的态度。

于是，投稿数量也随之暴增，有水平的评审人员数量就显得严重不足，最终结果就会导致论文质量、评审质量都严重下滑，从而显得会议变水了。

比如AAAI 2021就收到了9251篇投稿，创下了历史记录，其中9020篇投稿进入了评审环节。

来自微软亚洲研究院的知乎答主@你猜就对ICLR 2022的审稿人数量进行了统计。

其中，审稿人最多的文章有2篇，高达7位。

而审稿人最少的文章有29篇，只有2位。

不过大部分还是能分到3-4位审稿人的。

在刚刚结束的CVPR 2022大会上，组委会就着重地讲解了自己的审稿机制和成果。

在审稿人的经验分布上，学生审稿人占比31%，教职/研究人员审稿人占比为69%。

其中，23%的审稿人参加审稿经历少于两次。参与审稿大于10次的资深审稿人占比为19%。

在审稿人的任务分配上，基本上年资越深的审稿人，审稿数量越多，任务越重，审稿经验大于10次的资深研究人员平均要审5.7篇，审稿经验不足两次的学生审稿人，平均只要审2篇。

此外，为了感谢他们的无私奉献，CVPR 2022海评出了100多位杰出审稿人，并为他们颁发了价值100美元的礼券。

正如ICML审稿指导意见中所说地那样，「审稿永远也不会是完美无缺的，总有一些作者最后不高兴。」

总而言之，中了自然皆大欢喜，reject了也要继续努力！

参考资料：

https://www.zhihu.com/question/546262797

https://www.reddit.com/r/MachineLearning/comments/wdfgfe/d_iclr_misleading_reviewer_invitations_must_stop/