如何做好论文评审工作?CVPR 2019程序委员会有话说

选自CVPR 2019 Program Chairs

作者:Derek Hoiem, Gang Hua, Abhinav Gupta, and Zhuowen Tu

机器之心编译

参与:路雪、思源

最近,顶会投稿数量激增,很多人开始担忧论文评审的质量。前不久本科毕业生成为 NIPS 2018 论文同行评审的消息就引起了激烈讨论。那么评审人应该如何做好评审工作?近日,CVPR 2019 程序委员会发布了一个关于如何写好 CVPR 论文评审的教程:《How to Write Good Reviews for CVPR》,对论文评审的工作应该也具备普遍意义。

地址:https://www.dropbox.com/s/725p60wcajbb8xh/How%20to%20Review%20for%20CVPR.pptx

该教程主要介绍了:

  • 为什么评审人的工作如此重要
  • 论文决策流程
  • 如何写好论文评审,以及正反例
  • 给评审人的小贴士

为什么评审人的工作如此重要?

因为评审任务都指望评审人呀!首先领域主席(Area Chair)在论文接收或拒绝决策上需要有合适的准则,因此他们需要根据评审人的反馈做适当的调整。其次每一个论文作者需要公平对待,每一条有建设性的反馈都需要认真对待,这些都需要依赖于评审人的工作。最后,研究社区希望确保每一篇接收论文都能做出特定的贡献,因此评审人是新思想的守门者。

那么如何写好论文评审呢?

  • 了解论文决策流程;
  • 学习好的评审意见的结构;
  • 努力理解每一篇论文、相关文献,然后写出清晰的评审意见。

论文决策流程

首先,我们来看论文决策流程(此处应指 CVPR 的流程),如下图所示:

具体来说:

  1. 程序委员会主席(PC)将论文分配给领域主席(AC),通常给每位领域主席约分配 35 篇论文。
  2. 领域主席为每篇论文指定大约 8 名评审人员。
  3. 使用优化算法将论文分配给评审人员(每篇论文 3 名评审),该分配考虑到领域主席的建议、冲突约束等因素。
  4. 评审人提交初始评审结果,通常每人评审 6-12 篇论文。
  5. AC 和 PC 检查评审是否完整、是否存在明显疏漏。
  6. 作者拿到评审结果(几家欢喜几家愁……),对论文和评审结果进行思考和阅读,然后提交反驳信(rebuttal)。
  7. 评审人和 AC 基于论文、所有评审意见和 rebuttal 进行讨论。评审人更新评分和理由。
  8. AC 做出初步决策(通常是易于决策的论文,比如所有评审全都接收或拒绝的论文)。
  9. 领域主席会议上完成 所有论文接收和拒绝决策。AC 需要在更大谈论组进行检验,且该小组内不能有冲突。
  10. PC 最终决定 poster/spotlight/oral 论文,主要基于 AC 的推荐,但也要考虑时间约束、空间约束和主题多样性。

如何写好论文评审

  • Summary:解释论文的主要想法、贡献及意义,即对论文的摘要总结。该总结将帮助领域主席了解你的评审意见的其他内容,并确保你作为评审人员确实读懂了论文。
  • Strengths:描述论文的价值所在,比如经过实验验证的有趣想法、对相关研究的新颖组织、新工具、优秀的结果。最重要的是,对该论文主题感兴趣的人能从中学到什么。
  • Weaknesses:描述论文的缺陷,比如缺少受控实验来验证结论、出现误导性的论断或技术错误、阅读论文能否帮助读者理解(及完美复现)方法和实验设置。
  • Rating and Justification:谨慎解释该论文被接收或拒绝的原因,这部分应该明确你认为最显著的优缺点。

以下评审示例是 ICLR 的已公开评审结果。ICLR 的评审意见是一个整体,CVPR 是分成若干部分,形式虽然不同,但评审标准一致。

我们着重看一下这些示例的形式,而不是内容的准确度。(内容的准确度当然很重要,不过需要更强的专业知识和时间来分析。)

该评审意见质量不错。虽然缺少了对论文贡献的总结,但该评审意见明确解释了论文的接收原因。

  • 首先评论明确地解释了论文的接收原因,这是一个加分项。
  • Review 部分的第一段是减分项,没有总结论文的贡献或新颖之处。
  • Review 部分的第二段是加分项,表明评审人尝试思考论文的缺点,提出了对作者有用的反馈。

该评审意见的质量:尚可。解释了该论文决策的原因,提供了详细的反馈,但没有充分解释论文的优缺点。

  • Summary 部分强调了论文的主要想法和贡献,但没有涉及实验设置和论文贡献的意义。
  • 优缺点部分分条写出了论文的优缺点,但没有提供足够的细节,如论文的原创点、评估的缺陷等。
  • Evaluation 部分是加分项,提出了澄清问题的建设性反馈意见。
  • Minor Points 部分是加分项,明确了这部分内容不是论文决策的重要影响因素。
  • Final remarks 部分写明了评分的关键积极因素,缺点是没有解释缺点对评分影响不大的原因。

该评审意见的质量:很差。只列出了缺点和澄清问题,但没有论文内容总结和决策判断。因此,该评审对作者或领域主席来说都是不明确的,因为缺少主要的评分依据。

  • 评审的第一点优点是指明了论文哪些部分使这篇论文「不够新颖」。缺点是没有说明这些方法的相关性,因此不明确这些技术是否类似。
  • 第二点的内容不够清晰,是因为该贡献没有被实验证明,还是收敛速度不同。
  • 其余几点可能有助于作者改进论文,但是没有明确指出它们是否是评分的重要影响因素。

该评审的主要问题在于:

  • 领域主席在不读论文的情况下无法有效利用该评审,因为该评审没有总结/判断。
  • 没有列出优点,这可能表明评审人只是找理由拒绝接收该论文。
  • 作者和领域主席不知道列出的哪些点是拒绝接收该论文的重要影响因素。

给评审人的小贴士

领域主席是你的主要观众。确保评审意见完整,明确阐述你的观点和评分。好的评审意见应该用没读过原论文的人也能明白的方式介绍论文的主要想法和优缺点。

花时间做好评审工作。很多有经验的评审人一篇论文只用 2-4 个小时。如果你初次接触评审工作(比如你还是研究生),至少每篇论文花上 4 个小时,用这些时间读两遍论文、思考相关研究、查找不熟悉的技术等。

意识到自己的偏见。我们都倾向于把与自己的研究方向相关的论文给高分。尝试忽略「主题的有趣性」,关注论文能够带给感兴趣的读者哪些新东西。

原文发布于微信公众号 - 机器之心(almosthuman2014)

原文发表时间:2018-11-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

【重磅】马斯克的AI野心——OpenAI Gym系统深度解析

【新智元导读】开源人工智能系统 OpenAI 的成立打破了谷歌、Facebook 等巨头霸占 AI 领域的格局,但其创始人、特斯拉CEO马斯克多次发表人工智能威...

3619
来自专栏机器之心

资源 | TwenBN发布两个大型DL视频数据集:助力机器视觉通用智能

选自medium 作者:Moritz Mueller-Freitag 机器之心编译 参与:黄小天、Smith TwenBN 是一家人工智能公司,运用先进的机器学...

4049
来自专栏AI研习社

谷歌语义理解框架SyntaxNet革命性升级

在 AI 语义理解领域,谷歌一直不遗余力地进行研发投入。 对于普通用户而言,2015 年发布的基于深度神经网络的谷歌智能邮件回复,2016 年上线的神经机器翻译...

3736
来自专栏AI科技评论

如何评价百度刚刚开源的Paddle平台?

百度今天开源了其深度学习平台Paddle,引发了挺多人工智能领域开发者的兴趣,包括一些之前一直在Tensorflow和Caffe上练手的开发者。不过鉴于深度学习...

3984
来自专栏AI科技评论

深度丨AI 从业者该如何选择深度学习开源框架(6000字长文)

编者按:本文内容来自微软美国总部机器学习科学家彭河森博士在雷锋网硬创公开课的分享。 正如程序语言一样,深度学习开源框架同样各有优劣和适用的场景,那么 AI 从业...

3886
来自专栏量子位

通过照片内容搜图,Facebook这个新技能是如何实现的?

现在,你可以在Facebook上通过描述照片中的内容来搜索图片了:手工添加的图片标题和标签都不再重要。 这个功能的背后,是Facebook计算机视觉平台Lum...

76210
来自专栏数据派THU

送你9个常用的人脸数据库(附链接、报告)

由FERET项目创建,此图像集包含大量的人脸图像,并且每幅图中均只有一个人脸。该集中,同一个人的照片有不同表情、光照、姿态和年龄的变化。包含1万多张多姿态和光照...

3.2K5
来自专栏新智元

Deepmind“好奇心”强化学习新突破!改变奖励机制,让智能体不再“兜圈子”

强化学习是机器学习中最活跃的研究领域之一,在该领域的研究环境下,人工智能体(agent)做到正确的事情时会获得积极的奖励,否则获得负面的奖励。

1473
来自专栏机器学习之旅

应用:商品需求预估

假设现在有这么一个人,23岁,一线城市白领,常常出入城市CBD,之前没有任何的平台行为,刚刚注册app,那么他会买什么?

772
来自专栏CDA数据分析师

一名合格的机器学习工程师需要具备的5项基本技能,你都get了吗?

你是否对机器学习充满兴趣呢?其实到目前为止,每天有越来越多的工程师开始将好奇的目光转向机器学习领域。实际上,你会发现现在没有哪一个领域比机器学习能引起更多的曝光...

1939

扫码关注云+社区

领取腾讯云代金券