来自谷歌的 oral 论文《Boosting the Actor with Dual Critic》(https://openreview.net/pdf?id=BkUp6GZRW)基于大家熟悉的 actor-critic 模式算法继续做出了改进;
同样来自谷歌的《On the Convergence of Adam and Beyond》(https://openreview.net/forum?id=ryQu7f-RZ )比较了 Adam 等常用优化算法,发现其中存在的问题并提出改进。这篇论文也获得了今年的最佳论文奖。
《Sensitivity and Generalization in Neural Networks: An Empirical Study》(https://openreview.net/pdf?id=HJC2SzZCW ) 实际使用中人们发现大规模的、参数数目过多的网络实际上比小规模的网络有更好的泛化性,这似乎和我们对函数复杂度的经典认知相悖。这篇论文就探究了这个问题。
DeepMind 这篇 oral 论文《Emergence of linguistic communication from referential games with symbolic and pixel input》(https://openreview.net/pdf?id=HJGv1Z-AW ),在像素构成的环境中训练强化学习智能体,用语言进化学的思路,以紧急状况沟通任务为环境,研究算法交流模式的进化和学习。
同样来自 DeepMind 的《Compositional obverter communication learning from raw visual input》(https://openreview.net/forum?id=Hk6WhagRW )和《Emergent communication through negotiation》(https://openreview.net/forum?id=Hk6WhagRW )两篇也是类似地以深度学习方法研究人类语言的演进。
Facebook 也以另一种思路探究了智能体学习语言的方式,在《Mastering the Dungeon: Grounded Language Learning by Mechanical Turker Descent》(https://arxiv.org/abs/1711.07950),他们提出了有趣的 Mechanical Turker Descent 的交互式学习方法,让众包参与实验的人类在竞争和合作中训练智能体处理文字探险游戏中的自然语言内容,交互式的学习也给智能体提供了动态变化的、符合它们当前水平的训练数据。
另一篇来自 Facebook 的《Emergent Translation in Multi-Agent Communication》(https://arxiv.org/abs/1710.06922)研究的是当下热门的无平行语料的翻译问题,他们的环境设置是让两个说不同语言的智能体玩挑图游戏,在游戏过程中学习翻译对方的语言。这种设置不仅和直接学习一个无监督的翻译器不同,而且还更像是在研究许多人都困惑已久的「两个语言不通的人如何沟通」、「最早学习某种外语的人是如何学习的」这种问题。
即便在大数据和计算能力已经不是问题的今天,模型的优化方法也仍然是很多研究者关心的课题,谷歌尤其在这方面有多篇论文。降低分布式训练的带宽需求《Deep Gradient Compression: Reducing the Communication Bandwidth for Distributed Training》(https://arxiv.org/abs/1712.01887)、Hinton 的分布式在线蒸馏《Large Scale Distributed Neural Network Training Through Online Distillation》(https://arxiv.org/abs/1804.03235、学习率和批大小之间的关系如何《Don't Decay the Learning Rate, Increase the Batch Size》(https://arxiv.org/abs/1711.00489)、新提出的优化算法《Neumann Optimizer: A Practical Optimization Algorithm for Deep Neural Networks》(https://arxiv.org/abs/1712.03298),以及前文提到过的《On the Convergence of Adam and Beyond》,都展现了谷歌的研究人员们对这类问题的重视。
微软的 oral 论文《On the insufficiency of existing momentum schemes for Stochastic Optimization》(https://arxiv.org/abs/1803.05591)探究了现有带动量的随机优化算法的问题,《Training GANs with Optimism》(https://arxiv.org/abs/1711.00141)则为训练 Wasserstein GANs 带来了新的方法。
来自谷歌 Nicolas Papernot 等人的《Scalable Private Learning with PATE》继续研究了深度学习中的隐私问题(https://openreview.net/pdf?id=rkZB1XbRZ ),实际上 Nicolas Papernot 去年就作为第一作者以《Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data》提出了 PATE 框架获得了 ICLR 2017 的最佳论文奖,AI 科技评论也翻译了获奖演讲,详见 ICLR-17最佳论文作者Nicolas Papernot现场演讲:如何用PATE框架有效保护隐私训练数据?