五大顶尖研究院的116篇ICLR 2018录用论文,七大趋势全解读

AI 科技评论按:时间过得好快,Yann LeCun 仿佛刚刚在 Twitter 上感慨 ICLR 2018 的参会人数比 2017 年再次翻倍,而现在 ICLR 2018 已经于加拿大当地时间 5 月 3 日结束了。

谷歌、DeepMind、Facebook、OpenAI、微软,这 5 个 AI 科技评论重点关注的科技公司在今年 ICLR 中共贡献了 9 篇 oral(口头报告)论文和 107 篇 poster(海报展示)论文,在会议接受论文总数的 23 篇 oral、314 篇 poster 中已经占据了接近半壁江山。(谷歌、FB、微软重点在于其中的人工智能研究机构:谷歌大脑/谷歌 AI,Facebook 人工智能研究院,微软研究院)

每家机构的数量方面,DeepMind 22 篇、谷歌 47 篇、Facebook 25 篇、OpenAI 7 篇、微软 15 篇。谷歌和 DeepMind 加起来就占了会议总接收论文的 20%,可以说是具有绝对的影响力了。

我们翻阅了这 5 家机构的共 116 篇 ICLR 2018 接受论文,尝试梳理其中体现出的整个领域近期的研究内容和研究风格要点。需要说明的是,接受论文的结果是研究机构的论文作者们和会议审稿人们共同决定的;另一方面我们翻阅的论文也只是全部 ICLR 2018 接受论文的一部分,所以依据这些论文做出的评判不一定全面。

我们发现:

强化学习是今年一大研究热点

  • 不仅 DeepMind 依旧把强化学习作为重要研究对象,其它研究机构也在强化学习方面有许多研究,以及把强化学习作为工具,研究其它领域的问题。这 116 篇论文中有 20 篇左右是关于强化学习的。去年火热的 GANs 今年则热度有所下降。
  • 另一方面,与语言相关的论文也有 22 篇之多,涵盖的内容包括对语言演进的探索、弱监督/无监督翻译、阅读理解、问答等。

必不可少的是对各种现有方法的深度探究并做出改进

  • 来自谷歌的 oral 论文《Boosting the Actor with Dual Critic》(https://openreview.net/pdf?id=BkUp6GZRW)基于大家熟悉的 actor-critic 模式算法继续做出了改进;
  • 同样来自谷歌的《On the Convergence of Adam and Beyond》(https://openreview.net/forum?id=ryQu7f-RZ )比较了 Adam 等常用优化算法,发现其中存在的问题并提出改进。这篇论文也获得了今年的最佳论文奖。
  • 《Sensitivity and Generalization in Neural Networks: An Empirical Study》(https://openreview.net/pdf?id=HJC2SzZCW ) 实际使用中人们发现大规模的、参数数目过多的网络实际上比小规模的网络有更好的泛化性,这似乎和我们对函数复杂度的经典认知相悖。这篇论文就探究了这个问题。
  • 来自 Facebook 的《Residual Connections Encourage Iterative Inference》(https://arxiv.org/abs/1710.04773)分析+实证地研究了 ResNet 能够带来良好表现的原因,以及如何避免某些使用方式下会出现的过拟合问题。

除了针对深度学习领域本身的已有问题做深入发掘之外,有越来越多论文以深度学习为工具,研究和验证人类学习、人类语言演进等方面的假说。

  • DeepMind 这篇 oral 论文《Emergence of linguistic communication from referential games with symbolic and pixel input》(https://openreview.net/pdf?id=HJGv1Z-AW ),在像素构成的环境中训练强化学习智能体,用语言进化学的思路,以紧急状况沟通任务为环境,研究算法交流模式的进化和学习。
  • 同样来自 DeepMind 的《Compositional obverter communication learning from raw visual input》(https://openreview.net/forum?id=Hk6WhagRW )和《Emergent communication through negotiation》(https://openreview.net/forum?id=Hk6WhagRW )两篇也是类似地以深度学习方法研究人类语言的演进。
  • Facebook 也以另一种思路探究了智能体学习语言的方式,在《Mastering the Dungeon: Grounded Language Learning by Mechanical Turker Descent》(https://arxiv.org/abs/1711.07950),他们提出了有趣的 Mechanical Turker Descent 的交互式学习方法,让众包参与实验的人类在竞争和合作中训练智能体处理文字探险游戏中的自然语言内容,交互式的学习也给智能体提供了动态变化的、符合它们当前水平的训练数据。
  • 另一篇来自 Facebook 的《Emergent Translation in Multi-Agent Communication》(https://arxiv.org/abs/1710.06922)研究的是当下热门的无平行语料的翻译问题,他们的环境设置是让两个说不同语言的智能体玩挑图游戏,在游戏过程中学习翻译对方的语言。这种设置不仅和直接学习一个无监督的翻译器不同,而且还更像是在研究许多人都困惑已久的「两个语言不通的人如何沟通」、「最早学习某种外语的人是如何学习的」这种问题。

逻辑、抽象概念学习也出现越来越多的成果

  • DeepMind 《SCAN: Learning hierarchical compositional visual concepts》(https://arxiv.org/abs/1707.03389 ), AI 科技评论做过解读 DeepMind提出SCAN:仅需五对样本,学会新的视觉概念!
  • 另一篇《Can neural networks understand logical entailment?》(https://openreview.net/forum?id=SkZxCk-0Z)针对模型捕捉、运用逻辑表达式的能力提出了新的模型和数据集

优化方法仍在讨论和快速进步

  • 即便在大数据和计算能力已经不是问题的今天,模型的优化方法也仍然是很多研究者关心的课题,谷歌尤其在这方面有多篇论文。降低分布式训练的带宽需求《Deep Gradient Compression: Reducing the Communication Bandwidth for Distributed Training》(https://arxiv.org/abs/1712.01887)、Hinton 的分布式在线蒸馏《Large Scale Distributed Neural Network Training Through Online Distillation》(https://arxiv.org/abs/1804.03235、学习率和批大小之间的关系如何《Don't Decay the Learning Rate, Increase the Batch Size》(https://arxiv.org/abs/1711.00489)、新提出的优化算法《Neumann Optimizer: A Practical Optimization Algorithm for Deep Neural Networks》(https://arxiv.org/abs/1712.03298),以及前文提到过的《On the Convergence of Adam and Beyond》,都展现了谷歌的研究人员们对这类问题的重视。
  • 微软的 oral 论文《On the insufficiency of existing momentum schemes for Stochastic Optimization》(https://arxiv.org/abs/1803.05591)探究了现有带动量的随机优化算法的问题,《Training GANs with Optimism》(https://arxiv.org/abs/1711.00141)则为训练 Wasserstein GANs 带来了新的方法。
  • 实际上,百度也有一篇论文《Mixed Precision Training》(https://arxiv.org/abs/1710.03740)讨论了在网络训练中使用半精度浮点数而不是一般的单精度浮点数,在缩减超大规模网络所需存储和计算需求的同时还保持足够的网络表现。

尝试开拓深度学习的新领域

  • 来自微软的《Deep Complex Networks》(https://arxiv.org/abs/1705.09792)为复数值的深度神经网络提供了更多基础组件,包括复数神经网络的复数批量标准化、复数权值初始化策略等。
  • 来自谷歌的《Graph Attention Networks》(https://arxiv.org/abs/1710.10903)提出了运行在图结构的数据上的新的神经网络架构 GAT,它同时还具有掩蔽自我注意力层,以改善以往的基于图卷积及其近似的模型的缺点。
  • 另外值得一提的是,三篇 ICLR 2018 最佳论文中的《Spherical CNNs》(https://openreview.net/forum?id=Hkbd5xZRb)也是开拓新领域的精彩的尝试。

有不少研究安全的论文,但方向较为集中

  • 来自谷歌 Nicolas Papernot 等人的《Scalable Private Learning with PATE》继续研究了深度学习中的隐私问题(https://openreview.net/pdf?id=rkZB1XbRZ ),实际上 Nicolas Papernot 去年就作为第一作者以《Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data》提出了 PATE 框架获得了 ICLR 2017 的最佳论文奖,AI 科技评论也翻译了获奖演讲,详见 ICLR-17最佳论文作者Nicolas Papernot现场演讲:如何用PATE框架有效保护隐私训练数据?
  • 除此之外的研究安全性的论文基本都是对抗性样本、超出原分布的样本的检测和防御。

谷歌论文列表: https://research.googleblog.com/2018/04/google-at-iclr-2018.html DeepMind 论文列表: https://deepmind.com/blog/deepmind-papers-iclr-2018/ Facebook 论文列表: https://research.fb.com/facebook-research-at-iclr-2018/ OpenAI: https://twitter.com/OpenAI/status/989978665113993216 微软论文检索: https://www.microsoft.com/en-us/research/search/?q&content-type=publications&research_area=13556

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2018-05-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

【榜单】10位值得关注的机器学习Quora大咖问答录

【新智元导读】这篇文章基于Quora的“机器学习板块被阅读最多的作者”,列举了过去30天里回答被阅读最多的10位作者,数据统计至2017年6月25日。 Håko...

36590
来自专栏AI科技评论

深度|MIT人工智能算法披露:我们如何用 200 万张图片预见 1.5 秒后的世界?

我们生活在物理世界里,但往往没有深入思考这样一个问题:自己是如何迅速理解周边事物的? 人类能够对背景的变化、事物之间的相互关联等等做出非常自然的反应。而且,这些...

359120
来自专栏量子位

旷视首席科学家孙剑:计算机视觉的变革和挑战 | 北大AI公开课笔记

周三晚,北京大学“人工智能前沿与产业趋势”第三讲,本期旷视研究院院长孙剑授课主题为“计算机视觉的变革与挑战”,分享了计算机视觉和深度学习领域的一些研究进展。

13150
来自专栏人工智能头条

Hinton的小伙伴Charlie Tang:结构深度学习

19960
来自专栏机器人网

AI专家质疑深度学习,写下一篇长达27页文章

本文经AI新媒体量子位(公众号 ID: QbitAI)授权转载,转载请联系出处 多年坚持为深度学习泼冷水的纽约大学心理学教授Gary Marcus,今天终于写了...

36870
来自专栏AI科技评论

干货 | AI 大行其道,你准备好了吗?—谨送给徘徊于是否转行 AI 的程序员

AI 科技评论按:本文作者章华燕, 金桥智慧科技算法工程师。本文原载于个人博客,AI 科技评论获得授权转载。 前言 近年来,随着 Google 的 AlphaG...

26930
来自专栏机器之心

观点 | Marcus再怼深度学习:不和符号计算相结合,可能无法进步!

长期以来,许多研究人员一直担心神经网络能否有效地泛化,从而捕获语言的丰富性。从 20 世纪 90 年代开始,这成为我工作的一个主要课题,在我之前,Fodor、P...

7710
来自专栏AI研习社

传统程序员要不要转行到AI?看完本文思路更清晰

前言 近年来,随着 Google 的 AlphaGo 打败韩国围棋棋手李世乭之后,机器学习尤其是深度学习的热潮席卷了整个 IT 界。所有的互联网公司,尤其是...

38740
来自专栏大数据文摘

让冰冷的机器看懂这个多彩的世界

30990
来自专栏新智元

【深度】申省梅颜水成团队获国际非受限人脸识别竞赛IJB-A冠军,主要负责人熊霖技术分享

作者:熊霖 赵健 徐炎 采访:闻菲 【新智元导读】开发出精确的和可扩展的无约束人脸识别算法,是生物识别和计算机视觉领域长期以来不断追求的目标。为了促进非受限...

59170

扫码关注云+社区

领取腾讯云代金券