ICML 审稿人怒了，不要论文没写完就投稿！

作者 | 丛末、蒋宝尚

编辑 | 贾伟

ICML作为国际机器学习大会在一些学者心中的地位很高，不仅因为它是所谓的顶会，更因为它在论文评审方面所做的一些开创性的工作。

比如去年率先提出要提交代码，今年又率先提出要规范实验步骤，这些举措让大家看到了，它的确是这个领域的引领者。

为了对新手投稿人友好，今年的ICML还公开了审稿人对每篇论文要填写的表格，让新手了解一下评审们都会怎么打分。

越来越完善的机制，让ICML2020投稿量已经超过6000，对比去年总投稿量的3424篇，增幅接近一倍。但是投稿要求的严格加上越来越多的论文投稿数量，并不代表着科研的普及，据一位“资深”审稿人在reddit上爆料，有些投稿论文的状态是“未完稿”。

也就是说，有些“学者”论文还没写完，就已经将论文投出去让评审打分。注意，不是没有润色，而是论文该写的部分没有写完！

这位审稿人在reddit上讲述了他的内心独白，表示他审阅的论文投稿中超过一半没有完稿，而他们审稿人却要花费6-7个小时甚至10个小时以上来审阅一篇这样的稿件，这对审稿人未免也太不尊重了！

这位审稿人自白全文如下（AI 科技评论编译）：

我知道很多投稿作者将在未来几周内收到ICML的投稿反馈——并且大概率是拒稿反馈。我知道作者们收到拒稿反馈会一时难以消化，我感同身受，因为我也像大家一样也投了稿并且也可能收到拒稿通知。

但是，作为一位在本周内已经花了20至30个小时在审稿上且有可能还需要再花上30至40个小时审稿的审稿人，我在这里恳请大家：

停止向大会提交未完稿的论文！

关于这一点，我现在审阅的超过一半的投稿都是未完稿的论文，它们都存在非常明显、不容反驳的错误，相信是个正常人都难以相信这样的论文会出现在顶级会议的同行评审中。也没有正常人会把这些投稿与去年 ICML 收录的甚至最差的论文放在一起比较，更不会认为前者比后者的质量差不多或者更高。

在提交论文之前，请花点时间请你的同行或者导师提前审阅一遍论文。如果他们发现了任何错误，我向你保证，审稿人也同样能发现这些错误，然后给你一个伤人、令人沮丧的评论反馈。

我发现我们正处于一个巨大的炒作泡沫中，我们都想赶上这趟热门的火车，然而当我审阅到这些未完稿的论文时，我感受到了来自作者的不尊重。

这些作者显然是在等着早期评审阶段的反馈。不过这对于会议系统和同行评审流程来说并不公平，要求审稿人为你们的论文提进行“无偿”工作，还要指导你们如何构建和呈现你们的工作。把你们的审稿人当做免费劳动力也太不公平。

我审一篇论文至少要花费6至7个小时，多的时候要花费我10个多小时。这10个多小时消耗的也是我生命中的10个多小时啊，难道这些作者认为他们有权利让我花费这些时间来帮助他们发表研究工作吗？这让我感到非常不受尊重，老实说，如果这些论文就是我期望审阅的投稿的质量，我都想要放弃申请成为一位审稿人了。

这些作者不仅自私，他们也在损害整个研究社区、会议质量以及同行评审流程。越来越多未完稿的论文被提交，这也意味着审稿人将面临更高的审稿负荷。如果我们不再花这么多时间来审阅每一篇论文，也就意味着好的、值得品读的论文也会被“一带而过”，可能被不公平地拒稿、或者得到非常糟糕的反馈。这是令人难以接受的！

老实说，这些作者的行为，跟那些在流行病期间囤积厕纸的人如出一辙。他们自私的行为损害了社区，将他们自身凌驾于研究过程和其他提交了好论文的作者之上。

恳请大家不要再这样做了！请提交完稿的、优秀的、你认为已经准备好接受同行评审和发表的论文！

1 对于“坏家伙”，完全不用浪费这么多精力

帖子一发到reddit上，立即引起了网友们的讨论，讨论的焦点在于6-7个小时审稿一篇未完稿的是否意味着浪费、这些投稿者的动机是什么以及呼吁机器学习社区的学者“谨慎”发表论文。

大意是：你审稿花费的时间太多了，对于“未完稿的论文”应该简要总结2~3个缺点，然后不要内疚的拒绝，最多花费1个小时，那么如何总结论文缺点，这是一个练习：)

为作者做文献搜索的行为是值得称赞的，但你只需要举一个例子来说明这方面的弱点即可。为未完稿论文付出这么多时间不值得~

一些人发表论文不是为了推动社区进步，而是仅仅为了增量，这些人失去了尊重。

对此领域越来越多的参与，是好的，也是不好的╯﹏╰

那些人可能想要得到一些专业反馈，从而改进他们的论文，然后在提交给下一次会议。

机器学习社区的人都有资格投顶会，占用议组织者的时间和努力么？研究生一年级的学生，大多是对已有的模型修修改改，发表在Arxiv上的论文大多数都有一些标签错误、数学错误......

其实完稿和未完稿之间划线的标准不是很清楚......

2 论文未完稿便投稿，是否已成普遍操作？

论文未完稿便投稿其实已经在一定程度上，已经是一个“小流行”，据在reddit上吐槽的那位审稿人而言，在他接到的审阅任务的论文中，有一半是未完稿的。嗯，一半，也就是占比50%......

另外，AI科技评论在搜索引擎上，搜索了一下，在“百度知道”上，已经有了相关的问题询问。而在知乎上，已经有一些关于“是先润色，还是先投稿”的问答！

这意味着，有未完稿论文就投稿的想法研究员们不在少数。那么，这些“研究者”基于什么样的原因，有勇气把未完稿论文投稿呢？

首先，顶会投稿的门槛越来越低，从金钱成本上来讲，投稿成本也是基本免费的，所以也方便了作者们把同一篇论文反复投不同的会议。

如何杜绝会议论文质量参差不齐，给会议投稿设置门槛是很好的方法，比如周志华建议会议收取10美元投稿费，论文被录用就用来抵扣注册费，没被接收就贡献作为学生参会的旅行资助。

不要小看这10美元，它能隔绝大部分随意的、个人的投稿行为，毕竟如果把没完成的论文投稿，就相当于白扔10美元。

在老师层面来讲，绝大多数不会允许学生将未完稿的论文投稿，毕竟稍微有审稿经历的老师都会对这种态度深痛恶绝！所以这10美元，学生得不到报销！

上图评审示例是ICLR 的已公开评审结果，评审给一篇拒绝论文的意见更加充分。

另一个审稿的时候出现未成稿的原因是，大部分投稿人想捞一些专业的审稿意见，能够帮助他改进论文，方便下一次投稿。在AI类的顶会圈里，大多数会议都会要求评审员给出专业的2~3条评审意见，加上还有rebuttal环节，一些“论文初学者”能够得到专业的指导意见。

出现这种现象的最后一个原因是，学生有普遍抽奖心理：评审老师会不会“眼瞎”，就给通过了~~~~~

3 阿德莱德大学吴琦：“未完稿”论文有被接收先例，让投稿者产生侥幸心理

对于此现象，AI科技评论特地采访到了在顶会审稿方面拥有丰富经验的阿德莱德大学助理教授吴琦，他结合自身经历分享了自己的一些看法，相信会给论文投稿作者以及研究社区一些启发。

问：您如何看待投稿者没有完稿就投稿的这一现象？

吴琦：这个要看对没有“完稿”的定义是什么，是文章质量不够高？还是文章明显没有完成，比如缺少非常核心的方法描述，实验证明，或者出现大量的 typo和错误等等。

前者会有一定比例，但是审稿人和AC的工作正是找出这些质量不够高的文章，提出问题和建议。我们没有办法期望所有投稿的文章都是质量非常高、没有丝毫瑕疵的，无论这个会议和期刊的整体质量有多高。

如果是后者，那确实会造成审稿人资源的浪费，毕竟审稿人在做志愿性质的工作，大家更期望看到一个起码是看起来“完整”的工作。当然，以我个人的经验，在声誉比较好的会议中，这个比例还是相对比较低的。拿计算机视觉三大会来说，我前后审过应该有100多篇，质量不高的很常见，但是像后者所谓“未完稿”的，起码我遇到的屈指可数。

当然，随着这些会议投稿量越来越大，不排除后面会遇到更多这样“未完稿”的论文，比如我今年在CVPR审稿中 ，遇到一篇只写了6页的投稿（规定最长是8页），就属于后者——文章中的错误非常多，方法描述不清晰甚至有错误，有的图甚至连标题都没有，这就属于明显的“未完稿”。

一般来说，投稿前，作为指导老师，都会对投出去的文章把把关，毕竟学术领域里，大家最关心的还是自己的名声。能力可能有高低，文章质量也会有高低，但是大家对顶会的敬畏，应该是保持一致的。

问：审稿过程中，对一篇论文是否完稿有判断标准么？如果仅仅是论文缺少某个实验、仅仅缺少定义是否会被判定为“未完稿”论文？

吴琦：不同的审稿人可能会有不同的标准，有些实验和定义可能不是必须的，或者是已经有的可以直接引用，那我认为这种明显不能算“未完稿”。而且一般来说，会议文章都有比较严格的页数限制，确实没有办法把所有定义和实验全部呈现出来，作者只能呈现最重要的。

而对于核心的方法描述，证明文章核心论点的实验，确实不能少。比如，我在评审一篇文章时，对方法部分的要求是，看完方法部分，我是否能够利用文章中呈现出的信息，自己去实现，如果可以，那说明作者写的是完整而清晰的。对实验部分，会去看实验中的数据是否可以支撑作者在摘要和引文中提出的观点。

如果这些关键方法和实验都有，我会认为这个文章是完整的，作者态度是认真的。至于文章好坏，那是另外一个事情了，比如要看贡献是否新颖和重要，对社区理解某个问题是否有帮助，方法是否有效等等其他很多很多方面了。

问：就您的自身经历或了解到的情况来看，审阅一篇“坏”论文，花费的时间是否比审一篇好论文更长？

吴琦：其实不会，最好和最坏（比如“未完稿”）的论文都是比较好审的，好文章优点一目了然，读起来如沐春风。坏文章缺点也是显而易见，读起来晦涩可笑。而最花时间的其实都是介于两者之间的文章，优缺点都有，但是都不大，需要去花时间衡量。

问：在您看来，投稿作者未完稿便投稿的原因或者说动机有哪些？会带来哪些负面影响？

吴琦：原因就是大家普遍认为文章中或不中是有随机性的，和文章质量不是强相关，其实这是一种错觉。

我认为绝大部分中了的文章都是有可取之处的，当然也不排除有些质量很低的文章由于各种原因被接收的，这会是一个恶性循环，大家可能确实看到了一些质量不高，甚至是质量很低和“未完稿”的文章也中了顶级会议和期刊，所以大家就都去投，都抱着“我也去试试”的心态去投，这样的结果就是真的有可能会有越来越多的“未完稿”文章被接收，然后又是越来越多的“未完稿”式的投稿。

问：要想改善此现象，您有哪些建议？（例如投稿论文收费？）

吴琦：这个是大佬们去商量的问题，我这种后生不敢大放厥词。不过我觉得投稿收费不可取，便宜了，没人在乎，该投还是投；贵了，确实也不现实。

最近的会议都或多或少有些尝试，比如IJCAI的“早期拒绝”，本意就是改善这种现象，我个人倒是觉得再打磨几轮，应该是能起到作用的。整个社区，也确实没法接受动不动10000+的投稿和审稿量了。