学界 | FAIR 田渊栋:2017 年的一些研究和探索

今年的主要研究方向是两个:一是强化学习及其在游戏上的应用,二是深度学习理论分析的探索。

今年理论方向我们做了一些文章,主要内容是分析浅层网络梯度下降非凸优化的收敛性质。首先是上半年我自己ICML的这篇(https://arxiv.org/abs/1703.00560),分析了带一层隐层的网络,且输入为高斯分布时的收敛性情况。这篇文章,尤其是去年在ICLR 17 workshop上发表的不完全版,可以算是此方向的头一篇,给分析神经网络的非凸问题提供了一个思路。之后CMU的杜少雷过来实习,又出了两篇拓展性的文章。两篇都在浅层卷积网络上做了分析,一篇(https://arxiv.org/abs/1709.06129)去掉了高斯假设,在一般的输入分布下可以证明梯度下降收敛;另一篇(https://arxiv.org/abs/1712.00779)则在高斯假设下分析同时优化两层权重时的情况,证明了并非所有局部极小都是全局最小,这个就推翻了之前很多论文力图推动的方向。

这整个方向背后是对于深度学习原理的探讨和严格化定量化的努力。很容易证明一般的非凸优化要得到最优解至少得要进行地毯式轰炸,做指数级的穷举;而神经网络的效果如此之好,一定有它超出一般非凸优化的特殊原因。我的猜想是因为数据集的“自然”分布和特定的网络结构(如卷积)联合起来导致的结果。这种思路同时也将“最优化得到的解”和机器学习中提的“泛化能力”结合了起来——如果解是因为数据分布而收敛得到的,那当然也能适应于服从同样分布的测试样本,这样泛化能力就有了保证。这样的想法也和我在博士阶段的工作一脉相承:即利用输入数据分布的特殊结构(如图像扭曲操作的群结构),构造新的算法,使得在同样保证恢复未知参数的条件下,样本复杂度更低。

接下来,如何将“自然”分布严格化定量化,如何证明在实际系统中用的多层非线性网络结构能抓住这个自然分布并且收敛,就是最大的问题。希望我们在2018年继续能做出有意思的工作来。

附带说一句,就算是较为理论的方向,今年的竞争也比较激烈,我在投完ICML之后一周,就看到Arxiv上有一篇相似的工作出现,第一部分和我推导出的结论完全一样,只是方法不同,可见人工智能领域竞争的激烈程度。

另一个方向是强化学习和游戏。今年我们主要做了系统方面的工作,一个是快速轻量灵活的ELF强化学习训练平台( https://arxiv.org/abs/1707.01067,见《黑暗森林中的光之精灵》https://zhuanlan.zhihu.com/p/27763940一文,代码在https://github.com/facebookresearch/ELF ),这个工作已经被今年的NIPS接收为Oral并且演讲( http://yuandong-tian.com/nips17_oral_final.pdf )过了。ELF用多线程代替多进程进行强化学习的训练,并且简化Python的接口设计,让只看过教科书的强化学习新人们都能有效率地训练模型。之后我们在ELF上面搭建了一个微缩版的即时战略游戏MiniRTS。MiniRTS可以以极快的速度模拟(单核4万帧每秒,在服务器上运行1万局游戏评估模型性能只需2分钟),有利于在有限资源限制下的即时战略游戏AI研究。在MiniRTS上我们用Actor-Critic模型训练出一些有意思的人工智能。在这个基础上,我们继续试验了各种参数组合,分析了训练所得智能的一些行为,并且尝试基于模型的强化学习(model-based RL),获得了一些结果,这篇是放在今年的NIPS Deep RL Symposium上,见这里。

还有一个平台是利用现存四万多人工设计的三维房屋(SUNCG数据集)构造出的House3D平台(代码已经开源https://github.com/facebookresearch/House3D ),在这个平台中我们可以让智能体看到当前视野中的各种物体,获取深度信息和物体类别标注,还可以四处行走探索并遵循基本物理规律。我们挑选了200间房屋进行寻路训练,并且在50间新房屋中确认了寻路智能的泛化能力。这篇也在NIPS Deep RL Symposium上亮相( http://t.cn/RHfeeS5 )。

明年我们会尝试各种强化学习的已有算法,诸如层次式强化学习(Hierarchical RL),基于模型的强化学习(model-based RL)等等,并且设计新算法,一方面让我们的智能体变得更聪明,另一方面也希望构建一个公开标准的强化学习算法平台库,让大家都能重复(深度)强化学习这个方向的工作,从而推动整个领域的发展。

我这次回来很多人询问我们组(Facebook AI Research,FAIR)的情况。我们组目前有一百人出头一点,分散在四个不同的地方(加州硅谷,纽约,法国巴黎,及加拿大蒙特利尔),硅谷和纽约人多一些,各约40多人。总的来说,我们组还是不错的,研究方向较为自由,计算资源比较丰富,注重文章发表和开源共享,全年招实习生和全职。我现在作为研究经理(Research Manager)负责加州硅谷的强化学习研究,欢迎大家踊跃投送简历,我的邮箱是 yuandong@fb.com 。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-12-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏美团技术团队

即时配送的ETA问题之亿级样本特征构造实践

引言 ETA(Estimated time of Arrival,预计送达时间)是外卖配送场景中最重要的变量之一(如图1)。 我们对ETA预估的准确度和合理度会...

3335
来自专栏包子铺里聊IT

经典智能算法快速入门——神经网络概念篇

在大数据年代,各种机器学习算法的应用也日渐广泛。虽然在实际生产中只要调用各种成熟的算法库即可解决机器学习问题,但我们也需要对这些算法有概念上的了解。小编在这里就...

2906
来自专栏AI研习社

深度学习的可解释性研究(一):让模型「说人话」

AI 研习社按:本文为 BIGSCity 的知乎专栏内容,作者王小贱。北航智慧城市兴趣组 BIGSCITY是隶属于北京航空航天大学计算机学院的一个学术研究小组,...

1133
来自专栏IT派

统计vs机器学习,数据领域的“少林和武当”!

虽然这两个学派的目的都是从数据中挖掘价值,但彼此“互不服气”。注重模型预测效果的人工智能派认为统计学派“固步自封”,研究和使用的模型都只是一些线性模型,太过简单...

871
来自专栏ATYUN订阅号

【算法】“极简主义机器学习”算法可从极小数据中分析图像

美国能源部劳伦斯伯克利国家实验室(伯克利实验室)的数学家们开发了一种新的机器学习方法,旨在实验成像数据。这种新方法不是依靠典型机器学习方法所使用的数十或数十万个...

3467
来自专栏量子位

取代MNIST?德国时尚圈的科学家们推出基准数据集,全是衣裤鞋包

李林 编译整理 量子位 报道 | 公众号 QbitAI MNIST,是一个手写数字数据集,除了用在机器学习入门的教学中,它还是对机器学习算法进行基准测试的常用数...

3507
来自专栏小樱的经验随笔

层次分析法(详解)

注:文章内容主要参阅 《matlab数学建模算法实例与分析》,部分图片来源于WIKI 文章分为2部分: 1第一部分以通俗的方式简述一下层次分析法的基本步骤和思想...

4465
来自专栏大数据文摘

大咖 | GAN之父Ian Goodfellow在Quora:机器学习十问十答

1624
来自专栏大数据文摘

学界 | Github八月深度学习项目热搜Top 10,你Pick哪一个!

大家好!文摘菌发现了一份过去的一个月机器学习项目的Top 10,特地为大家搬运过来,看看你pick哪一个呢?

1031
来自专栏ATYUN订阅号

AI结合人工X射线准确识别医学图像中的罕见情况

一种新的人工智能系统通过人工X射线训练,有助于研究人员识别医学图像中罕见的医学状况。

1572

扫码关注云+社区