【重磅】Bengio最新演讲：Representations中的深度监督学习（49ppt下载）
【重磅】Bengio最新演讲：Representations中的深度监督学习（49ppt下载）
【新智元导读】7月4日，Yoshua Bengio参加 Idiap 举办的深度学习研讨会，发表题为《Representations中的深度监督学习》的演讲。他首先介绍了最近深度学习取得的成就，回溯该领域近年来取得的突破。随后，他详细地介绍了深度学习中的核心技术——反向传播，解读反向传播在循环递归网络和流程图中的工作原理。Bengio认为，在机器学习模型中加入组合性是通往人工智能未来、打破“维度魔咒”的一个关键。最近，深度学习有3大进展：Attention，Reasoning、Planning和增强学习，另外，技术应用上走在最前沿的是融合技术，比如视觉与自然语言理解的结合，而深度学习领域的下一个前沿应用将是推理和回答问题。
Idiap是瑞士洛桑联邦高等工业学院（Ecole Polytechnique Fédérale de Lausanne）下的非盈利研究机构，本次研讨会的主题为深度机器学习中的软件和硬件，主要聚焦于行业内两大机器学习平台：Facebook 的Torch和谷歌的TensorFlow。除了Bengio，来自谷歌Tensorflow团队的Mihaela Rosca和Facebook 的Soumith Chintala，以及Nvidia的Alison B Lowndes均发表演讲，介绍各家公司的深度学习技术。更多演讲内容详见：https://portal.klewel.com/watch/webcast/deep-learning-tools-and-methods-workshop/
在新智元 公众号 回复 07081 下载全部PPT（67页）。
Bengio在演讲的开篇介绍了深度学习最近取得的一些成就，提到了无人车、聊天机器人以及Alphago，其中无人车和聊天机器人是目前行业中最火的两大应用。他认为，工业革命后另一场新的革命似乎正在爆发，而深度学习正处于这场革命的中心，众多科技企业在深度学习领域展开竞争。
AI的突破
深度学习指的是：基于多层表示（representation）或抽象的机器学习算法。近年来在物体识别、物体检测和语音识别等方面，深度学习技术的错误率在不断下降，最新的突破则是在自然语言处理和理解方面。
加拿大先进技术研究院（CIFAR）的3个人——Bengio，Hinton和Lecun推动了这次深度学习AI革命的爆发。
- 最根本的突破发生在2006年，当时首次成功地训练了一个深度监督学习神经网络。
- 第2次重大突破发生在2011年，成果是Rectifiers。
- 从2011年开始，应用上开始获得突破，尤其是2012年的AlexNet。
经验总结：AI需要知识
过去AI的失败：大量的知识都不是规范化的，没有用词语表示。
解决方案：计算机从数据中获取知识，从样本中进行学习。
通过逐步地调整参数来更好地匹配样本。学习智能体可以发现样本，并尝试通过逐步地优化一些内部参数来对标样本，进而可以被训练，去完成任务。
2010年到2012年，计算机语音识别取得重大突破，错误率从10%以上降到4%以下。（数据来源：微软）
2012年到2015年，计算机视觉取得的突破：
- GPU的出现，以及是从前10倍的数据
- 可以识别1000种物体
- Facebook识别上百万张人脸图像
- 2015年，机器视觉已达人类水平
2016年下一个应用：无人驾驶
深度学习的核心：反向传播（Backprop）
反向传播：计算对网络中所有权重计算损失函数的梯度。这个梯度会反馈给最优化方法，用来更新权值以最小化损失函数。
单一链式法则
多路径链式法则
流程图中的链式法则
多层网络中的反向传播
流程图中的反向传播
循环和递归网络中的反向传播
为什么深度学习那么好用
旧的机器学习、表示学习和深度学习的差异
学习多层的表示
连续的模型层可以学习更深的中间表示
为什么要多层？
表示的层级代表了递进等级的抽象
每一个阶段都是一种可训练的特征变形
图像识别：像素--边缘--纹理基元--图形--部分图像--物体
文本：字--词--词组--分句--句子--故事
语音：样本--频谱带--声音--……--声音--音素--词
谷歌的图像搜索：相同空间中不同物体类别的表示
机器学习和AI中没有免费的午餐
从机器学习到AI中的四个关键要素：
- 许多许多的数据
- 非常灵活的模型
- 足够的计算能力
- 好的学习算法=强大的先行实验，能击败“维度的魔咒”
要打破“维度的魔咒”，需要在机器学习模型中加入“组合性”。
破解局部最小值的神话
在ICML2016上，仍然有研究者认为，由于局部最小值的存在，神经网络可以被核机器取代。但是，大量证据表明，对于非小网络来说，局部最小值只是一个神话。
监督学习的前线：Attention 和 Reasoning
许多研究者认为，神经网络可以做到跟模式识别一样好。但是，通往人工智能，还需要更多的努力，最近的一些进展包括：Attention，Reasoning，Planning和增强学习。
- Attention：聚焦输入元素的子集
- Reasoning：循环神经网络的延伸 记忆网络和神经图灵机器
- Planning 和增强学习：DeepMind（Atari 游戏）和伯克利（机器人控制）
当下：视觉和自然语言理解的结合
下一个前线：推理和回答问题
