ICML2022「元审稿」意见形同虚设！审稿结果出炉，评分取消引不满

新智元报道  

编辑：David 时光

【新智元导读】ICML2022最终审稿结果陆续出炉，作者们开始收到官方通知，和往届AI学术会议一样，今年同样少不了对审稿流程和质量的吐槽。

备受关注的AI顶会之一——国际机器学习大会（ICML 2022），目前审稿流程已经结束，终审结果已经陆续出炉。

ICML官方微博宣布，目前已经开始通过电邮将最终结果通知论文作者。

本次ICML2022采用两阶段审稿模式，这与今年AAAI、IJCAI等会议相同，即审稿人不打分，只提供评审意见、以及对优点和缺点的权衡。

另外，本次会议设立的「元审稿人」（MR）负责确保他们处理的论文得到专业评审，并在总体上得到公平对待。

「元审稿人」具体是干啥的？

按照大会发布的「元审稿人」规范指导，这个职位的作用相当于「审稿人的审稿人」。

具体点说，就是负责检查审稿的质量，敦促进度落后的审稿人，让审稿人修改质量差的审稿意见。

如果一篇论文被两个审稿人标记为第1阶段拒稿，MR需要仔细评估原因，并提出相应建议。如果MR决定保守地推荐被拒稿件，要写一份尊重他人的元审稿意见，解释原因，并提供证据。

而且在流程上，MR有两个级别：普通MR和资深MR。

PC分配每篇文章给2个审稿人和一位MR，2位审稿人出具拒稿意见后，先后交由两级MR审查这个意见，只有所有人同意这个意见，才会给作者发拒稿通知。

从设计上来看，这个机制旨在提高审稿质量，避免因为审稿人的审稿质量问题，在第一阶段就拒掉潜在的好文章，毕竟第1阶段就被拒的文章，是没有rebuttal机会的。

如果文章顺理通过了第1阶段，进入第2阶段后，会为每篇文章增加一位MR，PC要确保每篇文章至少有3位审稿人，新增的审稿人需要重新审稿，不能只参考之前审稿人的意见。

之后进入rebuttal阶段，审稿人视情况决定是否接受意见，并交由MR阅读审稿意见和rubuttal内容后给出MR意见，在交由资深MR审核讨论、出具最终意见。

最后，PC会在监督整个过程后经讨论，最终接受/拒稿的最终决定，并通知作者。

按照ICML2022大会官网公布的日程安排，第一阶段的拒稿通知在今年3月11日起陆续发送。

收到通知，随后于4月6日对作者开放意见反馈通道。

也就是说，如果没有在第一阶段就被拒，如果在此期间能够说服审稿人或MR，在第二阶段被拒论文还是有机会「起死回生」的。

而且，从新的审稿流程上看，MR的设立从理论上让这个机会变得更大了。毕竟，审稿人的意见和作者的rebuttal都要经过MR和资深MR的审阅和讨论，而且还是两轮。

吐槽：为啥取消打分？说好的MR意见呢？

现在，最后结果出来了，反响如何呢？

与以往一样，结果一出，又是几家欢喜几家愁！

为此，知乎上出现了一个关于「如何看待ICML2022结果」的讨论。

从问题描述来看，这次的「新规矩」把他折腾得够呛。

无论制度设计千好万好，归根结底，审稿的活还是由人来干。他表示，很多审稿人还是主要看实验和结果。

「不要对审稿人有过高的期望，没有实验，比不过sota，都要被拉分。」他说。

这一话题也引来了众多参会者、审稿人、机器学习爱好者的兴趣，目前被浏览次数接近27w。

大家的讨论主要聚焦在审稿质量问题上。

首先，有些人表示并没看见说好的「MR意见」。

网友Francesco Orabona指出，他已经收到了审稿结果，但没有大会审稿流程里说的MR意见。

不过，有人回复称，这可能是意外事故，评审结果可能也不是最终的，可能MR意见已经给了，但是作者看不见，「要不再等等」？

也有人看到了MR意见，但表示和自己预想得有很大差异，大部分只有寥寥数语，且是审稿人意见的机械总结，没有自己的理解。

按照这样的情况，MR「给审稿人纠错」的设立初衷可能就无法实现。

其次，没有分数，拿什么rebuttal？

今年的评审没有分数，这个大改也让很多人不习惯。

因为，不仅作者要看分数，审稿人要参考分数，MR也要视分数对审稿意见作出大概判断。

现在没有分数了，可能在rebuttal环节会更加茫然，不知道从哪下嘴。

网友Reinhold认为，「这没分数让人有点心慌」。

其实，不管是对作者还是审稿人，可能都很不适应。没有分数就没有一个量化标准，缺失了自我评估的重要依据。

尽管，没有分数可以避免分数给人的刻板印象，但是，现在把分数取消了是不是适得其反，反而降低了审稿质量呢？

另外，一些审稿人的评审水平不敢恭维。

有投稿人认为，此次评审的质量很低，没有直击论文要害，只评议边缘问题。4月15日，一位知乎匿名用户写到：

「他们通常停留在Problem setting的讨论，涉及到technical detail的改进意见几乎都是勉强凑数乱写，不懂装懂，当然有的知道自己不熟悉也不去多评价。」

为什么会出现这种「勉强凑数」的评审情况呢？可能与今年的评审机制改革有关，正如一位知乎用户所说的：

「以投稿人作为审稿人的机制，看似平摊了审稿压力，实则增加了大量低质量评审，反而增加了随机性和不公平性，这极有可能让ICML的声誉受到极大打击。」

以「以投稿人作为审稿人」的机制，必然会出现评审质量参差不齐的状况，这似乎是可以预见的问题。

还有强迫引用评审者论文的现象。

在论文评审中，不乏一些评审人会使用「黑手段」来提高自己论文的知名度，比如，强制他人引用自己论文，并将此作为评审意见的一部分。

在这次评审中，也不例外存在此种不良现象。

总而言之，这届机器学习顶会评审被网友狂吐槽。无论是没有「元评审」、没有分数，还是评审人水平低、强迫引用等情况，均遭到不少负面意见。

当然也有心平气和的

正是因为今年大会在审稿上的机制改革，让每个人的评审际遇不一样。也并不是每个意见都是负面的吐槽，毕竟改变总有代价，只要文章质量好，良性的学术环境是可以共同维护的。

有网友认为，顶会质量不在评审好，而在于论文好。

私以为，顶级会议之所以好，是因为有好的文章，而不是因为有好的审稿人。

还有网友比较心平气和，认为投稿、审稿工作都做得不错。

我审稿的文章大多数都收到了比较详尽的review，reviewer也在积极参与讨论，我个人也投入了大量的精力参与审稿工作。同时，我也看到了一些非常优秀的作品。

网友呼吁，要坚守纯粹的学术之心，维护好的学术环境。

对于ICML或者接下来其他的会议，无论是作者还是审稿人，都希望大家可以尽力而为，杜绝黑化，坚守自己纯粹的学术之心，环境需要共同维护。

正如ICML审稿指导意见中所说地那样，「审稿永远也不会是完美无缺的，总有一些作者最后不高兴。」

ICML表示，「我们想打造一个公平和透明的审稿流程，为什么接受或被拒？对于每篇文章、作者都会被明确告知原因。」

诸位，今年投稿ICML没有？中了几篇？对于审稿感受如何？欢迎讨论。

参考链接：

https://www.zhihu.com/question/524486916

https://media.icml.cc/Conferences/ICML2022/ICML2022_AC_Tutorial.pdf

https://www.icmlonline.com/

https://zhuanlan.zhihu.com/p/474283816#ref_2