机器之心报道
机器之心编辑部
在每次顶会论文放榜之后,大家都会争相晒出自己又收到了什么样的奇葩审稿意见,有些意见甚至会引发群嘲。但我们需要知道,这种不负责任的审稿人毕竟只占少数。审稿人往往都身兼数职,能够拿来做评审工作的时间可能都是挤出来的。在任劳任怨的同时,他们还要饱受糟糕论文的摧残,有些甚至是「半成品」。近日,终于有一位审稿人受不了了……
这位来自机器学习顶会 ICML 的「审稿人」在 reddit 上发了一篇帖子,控诉「不负责任」的投稿者,帖子的标题是《一个 ICML 审稿人的自白》。他表示,一些投稿者提交的甚至都不是一篇完整的论文,他们只是来「蹭」意见的,其自私程度堪比疫情期间大量囤积卫生纸的那群人。
或许是因为投稿数量持续攀升而质量参差不齐,给审稿人造成了额外的负担,这次大会的审稿截止日期已经从 3 月 13 日延长到了 3 月 20 日。
以下是这位审稿人自白信的完整内容:
我知道,你们中的很多人都会在几周之后收到 ICML 的反馈,而且很有可能是「拒绝」。我知道被拒绝的滋味很难受,我也很同情你们,因为我也在投稿,也可能被拒。 但作为一个这周已经花了二三十个小时(这周还能还要花三四十个小时)审稿的人,我想说,请(x4)不要再把没完成的工作投给大会了! 目前就我审到的论文而言,其中有一半都是半成品。它们都有着明显的硬伤,没有一个理性的人会相信这种论文竟然出现在顶会论文的评审阶段。也没有一个理性的人会将这种论文放在哪怕过去几年最糟糕的 ICML 论文旁边,并说上一句「它们质量差不多」或「前者质量还好一点」。
在提交论文之前,请花点时间让你的同伴或导师帮你审审论文。我敢保证,如果他们能从你的论文中找到「任何」缺陷,那大会审稿人就会发现一箩筐问题,然后给你一个令人心碎、泄气的审稿意见。 我知道,我们都生活在一个被吹起来的巨型气泡中,所有人都想搭上这辆炒作的快车,但审阅这些半成品论文让我觉得自己不被作者尊重。显然他们是想早点获得反馈。要求你的审稿人「免费」为你做研究工作,还要指导你如何构建、呈现你的论文,这对大会系统、同行评审过程来说都是不公平的。把审稿人当成你的免费劳动力也是不公平的。
我审一篇论文至少要花六七个小时,更多的时候要花十个小时以上。那可是我生命中的十几个小时,这些作者认为他们有权利占用这些时间,让我帮助他们改进研究,从而达到最终发表的目的。这让我感到如此地不受尊重,坦白说,如果要面对的都是这种质量的论文,我都想放弃审稿工作。 这些作者不仅自私,还拉低了大会质量,对整个研究社区、同行评审过程都造成了伤害。他们提交的半成品越多,审稿人的工作越繁重。我们能够花在每篇论文上的时间没有理想中那么多,也就是说,那些质量高、应该被接收的论文可能会被忽视、拒绝或者得到糟糕的反馈。这简直令人无法接受!
坦白说,这些作者和那些在疫情期间大量囤积卫生纸的人没有什么两样。他们的行为非常自私,损害了社区的利益,将自己置于研究以及其他提交优秀论文的作者之上。 请(x3)不要再这么做了。麻烦提交一份你觉得可以发表、够资格参与同行评审的完整论文。
几个小时内,这篇吐槽帖就引起了 Reddit 网友的热议。
最高赞的评论,给这位审稿人提了一些技巧上的建议:
「在一篇论文上花费 6、7 个小时,甚至 10 多个小时」可能有些问题,如果一篇论文「显然还没有准备好发表」,可以简单地总结 2 到 3 个重要缺陷,然后给一个「不适宜发表」的评语。不用为此感到内疚,因为审稿人都没有认真对待自己的论文,那么你也不用花费太多精力。
像这样的文章,用一个小时来审就可以了。如果花了比这多的时间,应该分析一下,是否可以练习一下更快找到缺陷的审稿技巧。
但也有人认为,这个说起来简单,实际上在审稿的时候可没那么容易:
说实话,我不太确定这样做有没有用。如果我给出一个「该论文不适宜发表」的评审意见,审稿委员会就必须得相信我所说的。实际上,审一篇质量不好的论文往往要比审好论文花更多的时间。我必须得查文献(作者应该做的)、举出具体的示例或者反例,你懂的。 我选择相信审稿委员会的决定,而不是审稿人的意见。审稿人的任务应该是「告知」而不是「决定」。
也有人认为,论文审稿也可以和招聘面试一样,可以直接 pass 掉不合适的候选人。但发帖者亲自下场解释了自己考虑的问题:
论文审阅需要依据特定的标准,首先我要花 30 分钟对整体内容进行一个初步判断,大概有 Yes、Maybe 或者 No 这几种情况;然后我花两个小时来仔细阅读论文,来验证我的初始评级是否需要改变;最后,我要根据大会审稿的具体标准写出每一项的对应评语,于是三个小时又过去了,在这期间我还要穿梭于论文的各个章节之间,提出一些建设性意见。
对于这位审稿人来说,给一句「不建议发表」的评语或许很简单,但不算一种负责任的行为。
即使那些论文作者没有好好对待自己提交的内容,我也会尽可能地给出最细致准确的评审意见。
好在各大顶会也开始采取措施来应对这种混乱的状况了,比如 NeurIPS 设置了「提前拒稿」环节 :领域主席会有两个星期时间去建议哪些论文会被提前拒绝,预计将有 20% 左右的论文会被提前拒绝。紧接着高级领域主席会有一个星期的时间来审核及批准这一决定。批准之后,这些论文作者就会得到通知。
目测这项措施至少对于筛选「未完成」论文应该是有效的,其他顶会倒是可以抄一下 NeurIPS 的作业。
此外,NeurIPS 2020 还提出,如有需要论文作者或联合作者都需要同意审稿。这一改变有助于增加审稿人员的总量,并可以在提交论文的人员中更加公平地分配审稿的工作量。
一方面尽量提前筛掉质量太差的论文,一方面努力增加审稿人数量,这也许是面对规模日益膨胀的机器学习顶会,所能采取的最好办法了。