ICLR 2018最佳论文出炉，无华人获奖

作者 | Just

出品 | 人工智能头条（公众号ID：AI_Thinker）

ICLR 2018 将于 4 月 30 日在温哥华举行，此届 ICLR 共收到 935 篇论文投稿，337 篇被接收，接收率为 36%。

大会开幕在即，主办方于近日公布了三篇最佳论文，这三篇论文关注的分别是 Adam 的收敛性、球面 CNN、以及元学习方法。它们在 OpenReview 上的评分都比较高，均排在前十五名。

上一届 ICLR 大会，MIT 博士张驰原的成果“Understanding Deep Learning Requires Rethinking Generalization”获得了最佳论文奖，但可惜的是，今年的三篇获奖论文中并未出现华人的身影。

以下是获奖论文简介，人工智能头条编译：

▌论文 1：Adam 及其同类算法的收敛性

简介：最近提出的一些已经成功用于训练深度网络的随机优化方法，例如 RMSPROP，ADAM，ADADELTA，NADAM 是基于使用梯度平方的指数移动平均值的平方根比例对梯度更新做缩放。在许多应用中，例如具有很大输出空间的学习中，研究者已经实证地观察到，这些算法无法收敛到最优解（或在非凸设置中收敛到极值点）。

我们证明了导致这种失败出现的一个原因是算法中使用的指数移动平均值。我们提供了一个简单的凸优化设置示例，其中包括 ADAM 不能收敛到最优解，并描述以前 ADAM 算法分析的精确问题。我们的分析表明，收敛问题可以通过赋予这些算法此前梯度的“长期记忆”来解决，并提出 ADAM 算法的新变体——它不仅可以解决收敛问题，而且还可以提高实证表现。

▌论文 2：球面卷积神经网络

简介：卷积神经网络（CNNs）已成为涉及二维平面图像问题的最优方法。然而，最近一些有意思的问题已经对可以分析球形图像模型有了需求。例如无人机、机器人和自动驾驶汽车的全方位视角问题，分子回归问题以及全球天气和气候建模问题。将卷积网络简单地应用于球面信号的平面投影注定会失败，因为由这种投影引入的空间变化的扭曲会使平移权重的共享失效。

在本文中，我们介绍了用于构建球面 CNN 的构件。我们提出了一个既具有表达性又具有旋转等变性的球形互相关定义。这种球形相关性满足广义上的傅里叶定理，它允许我们使用广义（非交换）快速傅立叶变换（FFT）算法来进行有效计算。我们解释了应用于 3D 模型识别和雾化能量回归的球面 CNN 的计算效率，数值准确性和有效性。

▌论文 3：在非稳态和竞争性环境中通过元学习方法的持续适应

简介：不断学习和适应非稳态环境下的有限经验是实现通用智能的重要里程碑。在本文中，我们将持续适应问题置于 learning-to-learn（学会学习）框架中。我们开发了一个简单的基于梯度的元学习算法，适合在动态变化和对抗性情况下进行适应。此外，我们设计了一个新的多智能体竞争环境 RoboSumo，并定义了一些迭代适应性游戏，用于测试连续适应的诸多方面。我们展示了，与小样本响应式基线的方法相比，元学习驱动的方法的适应效率更高。我们对很多智能体做了学习和竞争实验，基于元学习的学习者有最强的适应能力。