回顾 | Yoshua Bengio暑期课程《Deep Learning for AI》核心要点总结(附PPT下载)

AI 科技评论按:在刚刚结束的巴黎综合理工学院举行的 Data Science 暑期学校中,Yoshua Bengio 以《Deep Learning for AI》为主题进行了演讲。在这节课上,Bengio 教授结合自己以往的研究经历,回顾和分享了自己在深度学习领域的一些心得和经验。AI 科技评论整理如下。

在课程的最开始,Bengio 为自己的新书《Deep Learning》打了个小广告(笑),表示目前虽然 MIT Press 已经集合成书,但原文依然可以在线阅读。

深度学习已经取得了越来越重要的突破,从感知、掌握语言、玩游戏、或是分析上,深度学习的影响力一直不可小视。

从学习层面上看,深度学习是将知识传递给智能体的强大方法,但传统 AI 方法失效的原因在于,大量的知识是直观且难以传递的。因此,目前深度学习的主流方法是让系统从数据和经验中获取知识。

要想让深度学习真正向人工智能迈进,Bengio 认为需要满足五个核心条件。

  • 需要有大量的数据
  • 要有灵活的模型
  • 足够的算力
  • 计算机具有有效的推断能力
  • 也是最重要的一点,能够避免层次(dimentionality)问题。

而 Bengio 认为,要解决最后一个问题,我们需要在深度学习模型中引入「组合性」的概念。

就像人类语言可以通过不同的组合形式来赋予句子意义,陈述复杂的想法,组合能够在表征能力上实现指数级的提升。组合性(compostionality)能够有效地对我们周围的世界进行描述和理解。

在这里,Bengio 通过分布式表征/嵌入(特征学习)和深层建设(多层次的特征学习)两个例子陈述了组合性的强大力量。

那么,深度学习既然存在已久,最近到底有哪些进展和变化呢?

Xavier Glorot 和 Bengio 在 AISTATS 2011 的论文《Deep Sparse Rectifier Neural Networks》中提出了一个重要的结论,即 ReLU 的稀疏表达能力是网络性能提升的原因之一。

而在 2014 年的 NIPS 上,GANs 的提出让无监督生成神经网络在处理图像、语音和文本上取得了新的进步。ICLR 15' 之后,以谷歌神经网络为代表的基于注意力机制的深度学习发展,又将机器翻译水平带向了一个新的高度。注意力机制为神经网络在记忆领域提供了一个崭新的大门,而基于记忆增强的神经网络也为分析与问题解答的相关系统提供了有效机制。

Bengio 也提出,在深度学习取得越来越好的表现之时,我们也开始思考为何深度学习能有这么好的效果。自然,不可忽略的一点是它的泛化性能非常好,而且在优化上,SGD 和非凸的特性也让它取得了极好的效果。

目前在工业界,效果最好的依然是监督学习,而人类的无监督学习能力依然完胜计算机。也就是举一反三的能力,比如一个两岁小孩也能够理解直观物理学。小宝宝可以构建一个抽象但足够可靠的物理模型,主要原因在于它与真实世界进行了互动,而不仅仅是作为旁观者进行观察。

谷歌大脑研究科学家 Hugo Larochelle 在 AAAI 2008 年和 Bengio、Dumitru Erhan 一起发表了《Zero-data Learning of New Tasks》,提出了零数据学习的概念;它与零例学习(Zero-Shot Learning)一起,在领域适应性上努力尝试做出更多的迁移。

早期的 GANs 训练了包括数字、人脸、风景、动物的一系列样本,也包括卷积 GANs 的卧室图片。

而在 CVPR 2017 上,Bengio 团队也发表了一篇相关文章《即插即用生成网络:在潜在空间中生成条件迭代图像》。

此外,Bengio 还提及了一些遗漏的要点,比如:

  • 系统的学习越主动,无监督学习的效果越好。
  • 发现潜在的因果因素;
  • 基于模型的的 RL,扩展到新的预测模型,能够帮助分析一些难以观察到的危险情况;
  • 足够的算力能够让模型捕捉到人类层面的知识;
  • 自动挖掘不同的时间尺度,以处理长期依存关系;
  • 真正要理解人类的语言,依然需要足够的常识;
  • 零例学习,以及抽象和阐述以往的观察结果,得益于大规模的知识表征技术。

在演讲的最后,Bengio 强调了深度 AI(Deep AI)的未来,他认为有如下几点需要注意:

  • 科学的进步是缓慢而渐进的,但社会层面和经济层面的转变则可能是具有颠覆性的。
  • 我们面临着许多基础研究问题,虽然当我们逐一解决这些问题的时候,我们可能会面临更多的不确定,但我们仍然会继续攻克它们。
  • 不论是出于长期或是短期的考虑,持续对基础性/探究性 AI 研究进行投入非常重要。
  • 让我们继续让这一领域保持开放和自由,对社会影响保持开放的心态,并且相信,AI 将会持续发展,并受益我们的每一个人。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-09-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏量子位

Hinton号召AI革命:重头再来;李飞飞等赞成:深度学习不是唯一

李林 允中 编译整理 量子位 出品 | 公众号 QbitAI ? △ Hinton等合写的反向传播论文 1986年,39岁的Geoffrey Hinton与人合...

3155
来自专栏人工智能头条

AI大行其道,你准备好了吗?仅送给徘徊于转行AI的程序员

762
来自专栏CSDN技术头条

整理:深度学习 vs 机器学习 vs 模式识别

本文来自CMU的博士,MIT的博士后,vision.ai的联合创始人Tomasz Malisiewicz的个人博客文章,阅读本文,你可以更好的理解计算机视觉是怎...

17810
来自专栏新智元

AI新星 | 谷歌朱梦龙:从COCO物体检测冠军到MobileNet

【新智元导读】在谷歌研究院工作是一种怎样的体验?新智元近日专访了谷歌研究员朱梦龙,他作为谷歌团队G-RMI的核心成员,从去年9月开始一直盘踞在COCO的物体检测...

33011
来自专栏AI研习社

【Hinton】1.2 神经网络机制中的脑科学原理

作为 AI 从业者,想必你和小编一样都有过类似的经历。 下定决心想要钻研机器学习类的课程,不仅要搞定学术理论,还得应对英语所带来的难题。 为了让广大 AI 青年...

34015
来自专栏人工智能头条

Yann LeCun:CNN已解决CIFAR-10,目标 ImageNet

1906
来自专栏人人都是极客

零基础入门机器学习

这篇文章的初衷是很大一部分朋友都想了解如何入门 / 转行机器学习,搭上人工智能这列二十一世纪的快车。 本文的宗旨是: 1. 指出一些自学的误区 2. 不过多的...

3996
来自专栏AI科技大本营的专栏

传统程序员要不要转行到AI?

近年来,随着 Google 的 AlphaGo 打败韩国围棋棋手李世乭之后,机器学习尤其是深度学习的热潮席卷了整个 IT 界。所有的互联网公司,尤其是 Goog...

661
来自专栏新智元

【谷歌升级ImageNet】大规模视觉理解竞赛WebVision冠军分享 | 新智元CVPR-17专题

【新智元导读】ImageNet 竞赛在今年正式完结。那么,图像识别未来的重点将是什么,ImageNet 竞赛之后又会出现什么呢?WebVision 竞赛被誉为接...

37113
来自专栏有趣的Python

5-机器学习启蒙- 商品推荐系统1

5- 商品推荐系统 github: https://github.com/mtianyan/graphLabStartedML 推荐商品 有大量的商品和用户,想...

4048

扫码关注云+社区