ICLR 2019评审Top 200论文+热词，不在Top 200也可以计算名次

机器之心报道

参与：晓坤、张倩

近日，ICLR 2019 的论文评审结果出炉，评审们已经在论文的 openreview 页面公布了他们的评论和分数。有网友做了一个项目，将这些结果搜集起来制成了列表，展示了平均分数前 200 名的论文。不在前 200 名的论文可以借助 reddit 网友分享的小程序计算自己的名次。

ICLR 2019 将于明年 5 月 6 日-9 日在美国新奥尔良举行，今年 9 月 27 日下午 18 时，大会论文提交截止。据统计，ICLR 2019 共收到 1591 篇论文投稿，相比去年的 996 篇增长了 60%。之后，这些论文经过了漫长的评审，近日评审结果终于出炉。在 11 月 5 日到 11 月 21 日期间，论文作者可以对评审人的评论进行回复，修改论文。

在今年的 ICLR 论文中，强化学习和 GAN 依然是两大热门研究领域。对比去年的统计，除了前两者，无监督学习、生成模型、优化和表征学习也依然是最受关注的课题。

ICLR 2018 论文统计

ICLR 2019 论文统计

此外，据网友统计，在最新的 ICLR 2019 提交论文中，提及 PyTorch 的论文数量的增幅远远超越了 TensorFlow，似乎让人们看到了 PyTorch 即将赶超 TensorFlow 的迹象。

评审概况

如上图所示，名次是按照评分的平均值排列的。我们可以在列表中查看论文平均分、各个评审的分数、方差和置信度。当然有些论文仅给出了一个或两个分数，更多的评审结果会在近期陆续更新。

项目地址：https://chillee.github.io/OpenReviewExplorer/index.html?conf=iclr2019

在前十名的论文中，题目中出现 GAN 的就有 3 篇，足以说明 GAN 的热度。以下是前十名论文的部分信息：

• 第一名是 arXiv 上的这篇：Benchmarking Neural Network Robustness to Common Corruptions and Surface Variations，作者来自加州大学伯克利分校和俄勒冈州立大学。
• 论文地址：https://arxiv.org/pdf/1807.01697.pdf
• 第二名：KnockoffGAN: Generating Knockoffs for Feature Selection using Generative Adversarial Networks，作者不详。
• 论文地址：https://openreview.net/forum?id=ByeZ5jC5YQ
• 第三名：Large Scale GAN Training for High Fidelity Natural Image Synthesis 正是之前大热的 BigGAN，作者来自 DeepMind
• 论文地址：https://arxiv.org/pdf/1809.11096.pdf
• 第四名：Variational Discriminator Bottleneck: Improving Imitation Learning, Inverse RL, and GANs by Constraining Information Flow 已在 arXiv 上发布，作者是加州大学伯克利分校的 Xue Bin Peng 等人。
• 论文地址：https://arxiv.org/pdf/1810.00821.pdf
• 第五名：ALISTA: Analytic Weights Are As Good As Learned Weights in LISTA，作者不详。
• 论文地址：https://openreview.net/forum?id=B1lnzn0ctQ
• 第六名：Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks 已在 arXiv 上发布，作者来自蒙特利尔大学 Mila 和微软研究院。
• 论文地址：https://arxiv.org/pdf/1810.09536.pdf
• 第七名：Slimmable Neural Networks，作者不详。
• 论文地址：https://openreview.net/forum?id=H1gMCsAqY7
• 第八名：ProMP: Proximal Meta-Policy Search 已在 arXiv 上发布，作者来自加州大学伯克利分校和卡尔斯鲁厄理工学院（KIT）。
• 论文地址：https://arxiv.org/pdf/1810.06784.pdf
• 第九名：Enabling Factorized Piano Music Modeling and Generation with the MAESTRO Dataset 已在 arXiv 上发布，作者来自谷歌大脑、DeepMind。
• 论文地址：https://arxiv.org/pdf/1810.12247.pdf
• 第十名：Differentiable Learning-to-Normalize via Switchable Normalization 已在 arXiv 上发布，作者来自中国香港中文大学和商汤研究院。
• 论文地址：https://arxiv.org/pdf/1806.10779.pdf

网友讨论

尽管目前不是所有的评审都给出了分数，但 Reddit 上已经陆续有网友展开了讨论。

有网友表示评审者给分的两极分化令人咋舌：

网友 AlexiaJM：

评审员甲反复称相对 GAN（Relativistic GAN）是「一个很小的改进（a tweak）」，称我的整个方法部分是「错误的」、「写得不好」。他给的分数是 3 分，置信度是 2。但其他评审员表示我的论文写得「非常好」，并分别给出了 6 分和 7 分。评审真是一场赌博。这太令人沮丧了！

网友 fixed-point-learning 表示自己也遭遇了类似情况，ta 得到了两个差距很大的评分。一位评审员给出了 3 分的低分，并简单评论道：「这篇论文需要重写」，而另一名评审员给出的评论较为详细，有褒有贬，并最终给出了 8 分……

那么问题来了，评审员给出的这些评论究竟对论文接收结果影响多大？对此，网友 alexmlamb 表示，「地区主席（更高级别的评审员）会阅读评论并做出决定。他们给出的分数通常非常接近平均分，但是如果其中一个评论只有一行或者信息严重不足，那么它对评审主席的影响就会比较小。」

其实评审结果的分歧在顶会论文接收中并不是什么新鲜事。早在 2014 年 NIPS 就做过一个有趣的实验，他们复制了 10 % 的提交论文（170 篇论文）并将其分发给两组不同的评审者，结果有 25.9% 的论文评审结果不一致。这表明，几乎每四篇论文中就有一篇被一个专家组接受，而另一个专家组拒绝。这反映了评审机制的某些不合理之处。

尽管如此，有网友表示今年 ICLR 的评审还是比 NIPS 好得多。「至少到目前为止，我还没有在 ICLR 上看到任何有关我的研究领域的愚蠢评论……有时一位评审员会漏掉论文的一些缺陷，但是总有另一位评审员会指出来。无论如何，你可以通过公开评论指出你想让评审员注意到的任何问题。」

为了充分利用大会论文信息提高得分，有位优秀的网友（shaohua0116）索性码了一个程序。他从 OpenReview 上抓取了所有 ICLR 2019 论文及评审者给出的评分并将其可视化，做出了关键词云、关键词与评分相关性图、关键词直方图等直观的图表。让我们来感受一下：

关键词云

评分分布直方图。

从图中可以看出，评审者给出的评分集中在 5 到 6 分左右（平均分：5.15 分）。

论文没有进入前 200 名无法知道名次？没有关系。这位网友给出了一段代码，帮你算一下你的论文可以打败多少竞争者：

def PR(rating_mean, your_rating):
    pr = np.sum(your_rating >= np.array(rating_mean))/len(rating_mean)*100
    return pr
my_rating = (7+7+9)/3  # your average rating here
print('Your papar beats {:.2f}% of submission '
      '(well, jsut based on the ratings...)'.format(PR(rating_mean, my_rating)))
# ICLR 2017: accept rate 39.1% (198/507) (15 orals and 183 posters)
# ICLR 2018: accept rate 32% (314/981) (23 orals and 291 posters)
# ICLR 2018: accept rate ?% (?/1580)

为了展现关键词与评分的相关性，网友做出了以下这张关键词与评分相关性图：

该图表明，为了最大限度地提高分数，你应该使用关键词，如理论、鲁棒性或图神经网络。

程序地址：https://github.com/shaohua0116/ICLR2019-OpenReviewData

高分论文

目测几篇论文分数的方差较大，这里我们只简单介绍一下有完整评审结果的论文前三名。

• 论文 1：Large Scale GAN Training for High Fidelity Natural Image Synthesis
• 链接：https://arxiv.org/pdf/1809.11096.pdf
• 得分：8、7、10

BigGAN 这篇论文引起了很多学者的注意，并惊呼：不敢相信这样高质量的图像竟是 AI 生成出来的。其中生成图像的目标和背景都高度逼真、边界自然，并且图像插值每一帧都相当真实，简直能称得上「创造物种的 GAN」。

图 6：由 BigGAN 在 512x512 分辨率下生成的其它样本。

图 8：z、c 配对下的图像插值。

• 论文 2：Variational Discriminator Bottleneck: Improving Imitation Learning, Inverse RL, and GANs by Constraining Information Flow
• 链接：https://openreview.net/forum?id=HyxPx3R9tm
• 得分：6、10、8

本文提出利用信息瓶颈的正则化对抗学习方法，通过信息瓶颈限制判别器的信息流，实现对抗学习性能的显著提升，并可应用于模仿学习、逆向强化学习。左图：对抗模仿学习中的动作模仿；中间：图像生成；右图：通过对抗逆向强化学习学习可迁移的奖励函数。

• 论文 3：ALISTA: Analytic Weights Are As Good As Learned Weights in LISTA
• 链接：https://openreview.net/forum?id=B1lnzn0ctQ
• 得分：10、6、8

基于展开迭代算法的深层神经网络在稀疏信号恢复方面已经取得了经验上的成功。这些神经网络的权重目前由数据驱动的「黑箱」训练来确定。这篇论文提出了分析性 LISTA（ALISTA），计算出 LISTA 中的权重矩阵以解决无数据优化问题，只留下步长和阈值参数供数据驱动的学习利用。这种做法极大地简化了训练过程。ALISTA 保留了 Chen 等人在 2018 年的论文中证明的最优线性收敛性，并具有与 LISTA 相当的性能。

图 4：ALISTA 鲁棒性验证。

参考来源：

https://chillee.github.io/OpenReviewExplorer/index.html?conf=iclr2019

https://www.reddit.com/r/MachineLearning/comments/9uixgo/d_iclr_2019_reviews_are_out_good_luck_everyone/

https://github.com/shaohua0116/ICLR2019-OpenReviewData