回顾 | Yoshua Bengio暑期课程《Deep Learning for AI》核心要点总结（附PPT下载）

AI 科技评论按：在刚刚结束的巴黎综合理工学院举行的 Data Science 暑期学校中，Yoshua Bengio 以《Deep Learning for AI》为主题进行了演讲。在这节课上，Bengio 教授结合自己以往的研究经历，回顾和分享了自己在深度学习领域的一些心得和经验。AI 科技评论整理如下。

在课程的最开始，Bengio 为自己的新书《Deep Learning》打了个小广告（笑），表示目前虽然 MIT Press 已经集合成书，但原文依然可以在线阅读。

深度学习已经取得了越来越重要的突破，从感知、掌握语言、玩游戏、或是分析上，深度学习的影响力一直不可小视。

从学习层面上看，深度学习是将知识传递给智能体的强大方法，但传统 AI 方法失效的原因在于，大量的知识是直观且难以传递的。因此，目前深度学习的主流方法是让系统从数据和经验中获取知识。

要想让深度学习真正向人工智能迈进，Bengio 认为需要满足五个核心条件。

• 需要有大量的数据
• 要有灵活的模型
• 足够的算力
• 计算机具有有效的推断能力
• 也是最重要的一点，能够避免层次（dimentionality）问题。

而 Bengio 认为，要解决最后一个问题，我们需要在深度学习模型中引入「组合性」的概念。

就像人类语言可以通过不同的组合形式来赋予句子意义，陈述复杂的想法，组合能够在表征能力上实现指数级的提升。组合性（compostionality）能够有效地对我们周围的世界进行描述和理解。

在这里，Bengio 通过分布式表征/嵌入（特征学习）和深层建设（多层次的特征学习）两个例子陈述了组合性的强大力量。

那么，深度学习既然存在已久，最近到底有哪些进展和变化呢？

Xavier Glorot 和 Bengio 在 AISTATS 2011 的论文《Deep Sparse Rectifier Neural Networks》中提出了一个重要的结论，即 ReLU 的稀疏表达能力是网络性能提升的原因之一。

而在 2014 年的 NIPS 上，GANs 的提出让无监督生成神经网络在处理图像、语音和文本上取得了新的进步。ICLR 15' 之后，以谷歌神经网络为代表的基于注意力机制的深度学习发展，又将机器翻译水平带向了一个新的高度。注意力机制为神经网络在记忆领域提供了一个崭新的大门，而基于记忆增强的神经网络也为分析与问题解答的相关系统提供了有效机制。

Bengio 也提出，在深度学习取得越来越好的表现之时，我们也开始思考为何深度学习能有这么好的效果。自然，不可忽略的一点是它的泛化性能非常好，而且在优化上，SGD 和非凸的特性也让它取得了极好的效果。

目前在工业界，效果最好的依然是监督学习，而人类的无监督学习能力依然完胜计算机。也就是举一反三的能力，比如一个两岁小孩也能够理解直观物理学。小宝宝可以构建一个抽象但足够可靠的物理模型，主要原因在于它与真实世界进行了互动，而不仅仅是作为旁观者进行观察。

谷歌大脑研究科学家 Hugo Larochelle 在 AAAI 2008 年和 Bengio、Dumitru Erhan 一起发表了《Zero-data Learning of New Tasks》，提出了零数据学习的概念；它与零例学习（Zero-Shot Learning）一起，在领域适应性上努力尝试做出更多的迁移。

早期的 GANs 训练了包括数字、人脸、风景、动物的一系列样本，也包括卷积 GANs 的卧室图片。

而在 CVPR 2017 上，Bengio 团队也发表了一篇相关文章《即插即用生成网络：在潜在空间中生成条件迭代图像》。

此外，Bengio 还提及了一些遗漏的要点，比如：

• 系统的学习越主动，无监督学习的效果越好。
• 发现潜在的因果因素；
• 基于模型的的 RL，扩展到新的预测模型，能够帮助分析一些难以观察到的危险情况；
• 足够的算力能够让模型捕捉到人类层面的知识；
• 自动挖掘不同的时间尺度，以处理长期依存关系；
• 真正要理解人类的语言，依然需要足够的常识；
• 零例学习，以及抽象和阐述以往的观察结果，得益于大规模的知识表征技术。

在演讲的最后，Bengio 强调了深度 AI（Deep AI）的未来，他认为有如下几点需要注意：

• 科学的进步是缓慢而渐进的，但社会层面和经济层面的转变则可能是具有颠覆性的。
• 我们面临着许多基础研究问题，虽然当我们逐一解决这些问题的时候，我们可能会面临更多的不确定，但我们仍然会继续攻克它们。
• 不论是出于长期或是短期的考虑，持续对基础性/探究性 AI 研究进行投入非常重要。
• 让我们继续让这一领域保持开放和自由，对社会影响保持开放的心态，并且相信，AI 将会持续发展，并受益我们的每一个人。