如何做好论文评审工作？CVPR 2019程序委员会有话说

选自CVPR 2019 Program Chairs

作者：Derek Hoiem, Gang Hua, Abhinav Gupta, and Zhuowen Tu

机器之心编译

参与：路雪、思源

最近，顶会投稿数量激增，很多人开始担忧论文评审的质量。前不久本科毕业生成为 NIPS 2018 论文同行评审的消息就引起了激烈讨论。那么评审人应该如何做好评审工作？近日，CVPR 2019 程序委员会发布了一个关于如何写好 CVPR 论文评审的教程：《How to Write Good Reviews for CVPR》，对论文评审的工作应该也具备普遍意义。

地址：https://www.dropbox.com/s/725p60wcajbb8xh/How%20to%20Review%20for%20CVPR.pptx

该教程主要介绍了：

• 为什么评审人的工作如此重要
• 论文决策流程
• 如何写好论文评审，以及正反例
• 给评审人的小贴士

为什么评审人的工作如此重要？

因为评审任务都指望评审人呀！首先领域主席（Area Chair）在论文接收或拒绝决策上需要有合适的准则，因此他们需要根据评审人的反馈做适当的调整。其次每一个论文作者需要公平对待，每一条有建设性的反馈都需要认真对待，这些都需要依赖于评审人的工作。最后，研究社区希望确保每一篇接收论文都能做出特定的贡献，因此评审人是新思想的守门者。

那么如何写好论文评审呢？

• 了解论文决策流程；
• 学习好的评审意见的结构；
• 努力理解每一篇论文、相关文献，然后写出清晰的评审意见。

论文决策流程

首先，我们来看论文决策流程（此处应指 CVPR 的流程），如下图所示：

具体来说：

1. 程序委员会主席（PC）将论文分配给领域主席（AC），通常给每位领域主席约分配 35 篇论文。
2. 领域主席为每篇论文指定大约 8 名评审人员。
3. 使用优化算法将论文分配给评审人员（每篇论文 3 名评审），该分配考虑到领域主席的建议、冲突约束等因素。
4. 评审人提交初始评审结果，通常每人评审 6-12 篇论文。
5. AC 和 PC 检查评审是否完整、是否存在明显疏漏。
6. 作者拿到评审结果（几家欢喜几家愁……），对论文和评审结果进行思考和阅读，然后提交反驳信（rebuttal）。
7. 评审人和 AC 基于论文、所有评审意见和 rebuttal 进行讨论。评审人更新评分和理由。
8. AC 做出初步决策（通常是易于决策的论文，比如所有评审全都接收或拒绝的论文）。
9. 领域主席会议上完成 所有论文接收和拒绝决策。AC 需要在更大谈论组进行检验，且该小组内不能有冲突。
10. PC 最终决定 poster/spotlight/oral 论文，主要基于 AC 的推荐，但也要考虑时间约束、空间约束和主题多样性。

如何写好论文评审

• Summary：解释论文的主要想法、贡献及意义，即对论文的摘要总结。该总结将帮助领域主席了解你的评审意见的其他内容，并确保你作为评审人员确实读懂了论文。
• Strengths：描述论文的价值所在，比如经过实验验证的有趣想法、对相关研究的新颖组织、新工具、优秀的结果。最重要的是，对该论文主题感兴趣的人能从中学到什么。
• Weaknesses：描述论文的缺陷，比如缺少受控实验来验证结论、出现误导性的论断或技术错误、阅读论文能否帮助读者理解（及完美复现）方法和实验设置。
• Rating and Justification：谨慎解释该论文被接收或拒绝的原因，这部分应该明确你认为最显著的优缺点。

以下评审示例是 ICLR 的已公开评审结果。ICLR 的评审意见是一个整体，CVPR 是分成若干部分，形式虽然不同，但评审标准一致。

我们着重看一下这些示例的形式，而不是内容的准确度。（内容的准确度当然很重要，不过需要更强的专业知识和时间来分析。）

该评审意见质量不错。虽然缺少了对论文贡献的总结，但该评审意见明确解释了论文的接收原因。

• 首先评论明确地解释了论文的接收原因，这是一个加分项。
• Review 部分的第一段是减分项，没有总结论文的贡献或新颖之处。
• Review 部分的第二段是加分项，表明评审人尝试思考论文的缺点，提出了对作者有用的反馈。

该评审意见的质量：尚可。解释了该论文决策的原因，提供了详细的反馈，但没有充分解释论文的优缺点。

• Summary 部分强调了论文的主要想法和贡献，但没有涉及实验设置和论文贡献的意义。
• 优缺点部分分条写出了论文的优缺点，但没有提供足够的细节，如论文的原创点、评估的缺陷等。
• Evaluation 部分是加分项，提出了澄清问题的建设性反馈意见。
• Minor Points 部分是加分项，明确了这部分内容不是论文决策的重要影响因素。
• Final remarks 部分写明了评分的关键积极因素，缺点是没有解释缺点对评分影响不大的原因。

该评审意见的质量：很差。只列出了缺点和澄清问题，但没有论文内容总结和决策判断。因此，该评审对作者或领域主席来说都是不明确的，因为缺少主要的评分依据。

• 评审的第一点优点是指明了论文哪些部分使这篇论文「不够新颖」。缺点是没有说明这些方法的相关性，因此不明确这些技术是否类似。
• 第二点的内容不够清晰，是因为该贡献没有被实验证明，还是收敛速度不同。
• 其余几点可能有助于作者改进论文，但是没有明确指出它们是否是评分的重要影响因素。

该评审的主要问题在于：

• 领域主席在不读论文的情况下无法有效利用该评审，因为该评审没有总结／判断。
• 没有列出优点，这可能表明评审人只是找理由拒绝接收该论文。
• 作者和领域主席不知道列出的哪些点是拒绝接收该论文的重要影响因素。

给评审人的小贴士

领域主席是你的主要观众。确保评审意见完整，明确阐述你的观点和评分。好的评审意见应该用没读过原论文的人也能明白的方式介绍论文的主要想法和优缺点。

花时间做好评审工作。很多有经验的评审人一篇论文只用 2-4 个小时。如果你初次接触评审工作（比如你还是研究生），至少每篇论文花上 4 个小时，用这些时间读两遍论文、思考相关研究、查找不熟悉的技术等。

意识到自己的偏见。我们都倾向于把与自己的研究方向相关的论文给高分。尝试忽略「主题的有趣性」，关注论文能够带给感兴趣的读者哪些新东西。