评审拒绝，主席接收：这篇不到4分的论文中了ICLR 2019

机器之心

发布于 2019-04-29 18:49:34

8930

发布于 2019-04-29 18:49:34

文章被收录于专栏：机器之心机器之心

机器之心报道

机器之心编辑部

这篇论文被三名评审全部拒绝，最后却被领域主席接收了。三位评审给出的平均分不到 4 分，而且作者并没有遵守双盲评审，把项目开源到 GitHub 且公开了 contributor。

上个月，ICLR 2019 公开论文接收列表。据统计，ICLR 2019 共收到 1591 篇论文投稿，相比去年的 996 篇增长了 60%，接收论文 502 篇，其中 oral 论文 24 篇，poster 论文 478 篇。而在这 500 篇接收论文中，有一篇整出了幺蛾子。

今天，reddit 网友发帖质疑其中一篇接收论文《Encoding Category Trees Into Word-Embeddings Using Geometric Approach》，该论文的匿名评审结果是：4，4，3，三位评审全都给出了 rejection 的决定。然而，领域主席「力排众议」，对这篇论文给出了 Accept (Poster) 的决定……

这还不算，这位网友还指出：双盲评审并不「双」盲，作者信息就隐藏在论文摘要里！论文写作风格草率；作者对匿名评审人员的回复言论语气恶劣……

这篇论文提出了一种将树结构类别信息隐式地编码为词嵌入的新型方法，可以带来 super-dimensional ball representation（n-ball 嵌入）。实验结果表明 n-ball 嵌入在验证未知词类别上性能优越。

但，匿名评审似乎不这么认为。

匿名评审意见

匿名评审 1：4 分，拒绝

这篇论文提供了很好的几何学视角，但这并不是什么新颖的想法，并且也没有充足的量化实验评估。注意！！！你们提交的论文中有包含作者信息的 GitHub（就在摘要里）和 Google Drive 链接（论文第四部分结尾）。我认为这是不被允许或不符合标准的。我决定以论文提交违规为由「自动拒绝」，并将此决定提交给论文的 meta-reviewer。

匿名评审 2：4 分，拒绝

任务有趣但评估薄弱，主要以定性分析为主。这篇论文动机不太清楚，实验结果主要是定性的（及主观的），而且论文可读性很差，提出的方法贡献不明。

匿名评审 3：3 分，明确拒绝

本文的不足之处在于，缺乏与其他著名研究的实验对比。相关研究介绍不足。没有表述清楚为什么 N-ball 嵌入适用于分层结构。

从以上评审意见可以看出，三位评审对该论文评价不高，指出其缺乏创新性、严谨性以及基本的论文写作技巧。但之后领域主席给出的结果却让人大跌眼镜。

领域主席：接收为 Poster 论文

他在评审意见中写道：

本文作者提出了一种非常有趣的方法，可以将分层信息融合到现有的词向量中。这对同时需要知识库信息和文本共现数的诸多任务都有帮助。尽管评审者指出了本文的一些缺点，但我认为这或许是将符号信息/集合/logic/KBs 与神经网络连接起来的关键一环，因此我建议接收本文。

对于这一决定，评审者似乎不太赞同，匿名评审 1 写道：

至少要引用现有文献吧。

Ta 指出，这篇论文的想法在其他论文中已经有提到。对比一下几篇论文的图就能很快发现其中的联系。对此，评审 1 评论道：对如此强相关研究的引用至少要在论文终稿中加上吧！

领域主席是否与匿名评审达成一致？

此前 CVPR 2019 程序委员会发布了 CVPR 论文评审流程，对论文评审工作具备普遍的指导意义。按照评审流程，评审员在给出论文评分后，领域主席（AC）会根据反馈提供初审结果。如果评审员提供相同的初审结果等没有争议的反馈，那么 AC 可以快速做出初步决策。但是对于有异议的反馈或接收决策，AC 和评审员需要在更大的领域主席会议上讨论，并在所有成员没有异议的情况下完成接收决策。

根据这样的评审流程，领域主席给出的接收决定应该是三位评审员都同意的结果。但是在领域主席给出的接收信息下，匿名评审 1 进一步表示至少要将极其相关的前期研究工作添加到论文中。

即使评审员与领域主席达成了一致，但从公开评论中我们可以看出，普通读者对论文的接收结果仍然存有异议。有网友指出了一个基本的疑点：作者究竟有没有违反 ICLR 的双盲评审制度？Ta 表示：「把名字倒着写并不是有效的匿名技巧」。

除了评审们提到的问题以外，我们还可以看到作者确实违反了双盲评审制度。摘要中的 GitHub 链接清楚地包含了作者的名字（倒着写）。基于如此明显和刻意违反 ICLR 规定的做法，我恳请领域主席重新考虑接收此论文的决定。

作者回应

对匿名问题的质疑，作者给出的回应是：

尽管详细意见无法接受，但匿名部分已经得到了谨慎处理。GitHub 账号仅仅是为这个项目临时创建的。读者/评审都无法知道我们是谁。另一方面，ICLR 提交规定中允许论文发表在非同行评审网站上（例如 arXiv）或者研讨会上。因此，匿名方面并不构成问题。

Reddit 讨论

该事件在 Reddit 上引发了热烈讨论。

网友 geraltofrivia783：没有必要揪着匿名问题不放

先不说其他的，我觉得作者有一点没做错。ICLR 并不介意作者将论文提交至非同行评审的平台 arXiv，而 arXiv 是非匿名的。在这种情况下，整个匿名机制根本不起作用。如果你不介意作者把论文提交至非匿名平台，且你谷歌一下就能找到作者的话，那又干嘛要介意论文里的非匿名来源链接（GitHub/drive）？

网友 Visible_Layer：「诚实的」评审者不会去找作者的名字

我觉得这里的问题是他们「链了」非匿名的代码。把论文提交至 arXiv 没问题，但是将论文的 arXiv 地址放到需要匿名评审的论文里就有问题。但如果「诚实的」评审者仅访问论文和链接资源，他就不会知道作者的名字。

网友 geraltofrivia783 & Visible_Layer：「匿名」好像没那么难

我明白，但从「诚实的」评审跳到「好奇的」评审，只不过是进行了谷歌搜索而已。这不应该影响评审者的分数。别误会，我完全赞成正确的双盲评审程序。实际上，我最近就向 NAACL 提交了一篇论文，我发现他们的匿名评审政策很好。 NAACL 表示，如果你重新提交一份来自 arXiv 的论文，那 arXiv 论文必须在摘要提交截止日期前一个月上传。他们还提供了匿名上传代码和数据的方式。这样就不用在匿名论文中添加 GitHub/drive 链接了。

针对「他们还提供了匿名上传代码和数据的方式。这样就不用在匿名论文中添加 github/gdrive 链接了」，网友 Visible_Layer 表示：即使没有官方渠道，要匿名也是轻而易举。所以说这篇论文的作者违反了匿名政策——明明有很多匿名上传代码/材料的方式（几乎毫不费力！），但他偏偏就上传了个人账户信息。不管政策是否「公平」，它始终是政策，而作者违反了它。

网友 technical-difficulty：领域主席家人被作者绑架了？

创建该 GitHub 库的 7 位贡献者中，有 5 位是匿名账户，据说是为了掩盖主要作者与作品的联系。而作者之所以会暴露是因为： 1. 匿名 GitHub 账户（gnodisnait）是一作（tiansi dong）名字的倒写。 2. 该账户有 5 个单行提交。 3. 存储库中的其它所有行（约 2000 行）都是由主要作者的主账户提交的。你自己看看，这真的很奇葩。我现在有点担心领域主席的家人了，因为他能接受这篇论文的唯一合乎逻辑的理由似乎是敲诈。

网友 thny001：这种情况不是第一次见

我见过一篇类似的论文，被两个评审拒绝最后却被接收了，分数是 4，5，6。 https://openreview.net/forum?id=S1M6Z2Cctm 我对这个评审过程也是非常好奇。希望主席能给出一些解释。有关于这些论文的私下讨论吗？如果有，这些讨论可以公开给那些被接收的论文吗？

网友 10sOrX 是今年的 ICLR 评审之一，Ta 表示：

是有私下讨论的，尽管不一定需要。作者/评审/主席可以选择他们的信息渠道。作为 ICLR 今年的评审之一，我选择公开我发的所有信息。

ICLR 双盲评审制度

ICLR 自 2013 年举办以来，经历了从 open review 到双盲评审的转变。自 2018 年 ICLR 开始实行双盲评审制度之后，争议仍然存在，比如 ICLR 2019 评审阶段评论区疑似有水军出没等，且允许作者在 arXiv 等平台发布论文的做法使双盲形同虚设。而同样实行双盲评审制度的 ACL 大会规定投递论文在一定期限内不得上传到开放平台。

随着人工智能、机器学习的火热，各大学术会议收到的投递论文数量暴涨，论文评审引起了社区的广泛关注。同行评审制度实施过程中出现的问题引起了极大重视，学术会议也逐渐寻求从制度层面上解决同行评审中的一些问题。比如，近期 KDD 2019 的征稿通知中就明确表示：今年会议采取双盲评审制度，论文接收结果公布之前投稿者不得将论文发布于 arXiv 等开放性平台上。而且只有在论文中公开研究代码和数据的论文才有资格竞选「最佳论文奖」。

那么，ICLR 的评审制度会不会因为这些事件发生改变呢？