回顾 | Yoshua Bengio暑期课程《Deep Learning for AI》核心要点总结(附PPT下载)

AI 科技评论按:在刚刚结束的巴黎综合理工学院举行的 Data Science 暑期学校中,Yoshua Bengio 以《Deep Learning for AI》为主题进行了演讲。在这节课上,Bengio 教授结合自己以往的研究经历,回顾和分享了自己在深度学习领域的一些心得和经验。AI 科技评论整理如下。

在课程的最开始,Bengio 为自己的新书《Deep Learning》打了个小广告(笑),表示目前虽然 MIT Press 已经集合成书,但原文依然可以在线阅读。

深度学习已经取得了越来越重要的突破,从感知、掌握语言、玩游戏、或是分析上,深度学习的影响力一直不可小视。

从学习层面上看,深度学习是将知识传递给智能体的强大方法,但传统 AI 方法失效的原因在于,大量的知识是直观且难以传递的。因此,目前深度学习的主流方法是让系统从数据和经验中获取知识。

要想让深度学习真正向人工智能迈进,Bengio 认为需要满足五个核心条件。

  • 需要有大量的数据
  • 要有灵活的模型
  • 足够的算力
  • 计算机具有有效的推断能力
  • 也是最重要的一点,能够避免层次(dimentionality)问题。

而 Bengio 认为,要解决最后一个问题,我们需要在深度学习模型中引入「组合性」的概念。

就像人类语言可以通过不同的组合形式来赋予句子意义,陈述复杂的想法,组合能够在表征能力上实现指数级的提升。组合性(compostionality)能够有效地对我们周围的世界进行描述和理解。

在这里,Bengio 通过分布式表征/嵌入(特征学习)和深层建设(多层次的特征学习)两个例子陈述了组合性的强大力量。

那么,深度学习既然存在已久,最近到底有哪些进展和变化呢?

Xavier Glorot 和 Bengio 在 AISTATS 2011 的论文《Deep Sparse Rectifier Neural Networks》中提出了一个重要的结论,即 ReLU 的稀疏表达能力是网络性能提升的原因之一。

而在 2014 年的 NIPS 上,GANs 的提出让无监督生成神经网络在处理图像、语音和文本上取得了新的进步。ICLR 15' 之后,以谷歌神经网络为代表的基于注意力机制的深度学习发展,又将机器翻译水平带向了一个新的高度。注意力机制为神经网络在记忆领域提供了一个崭新的大门,而基于记忆增强的神经网络也为分析与问题解答的相关系统提供了有效机制。

Bengio 也提出,在深度学习取得越来越好的表现之时,我们也开始思考为何深度学习能有这么好的效果。自然,不可忽略的一点是它的泛化性能非常好,而且在优化上,SGD 和非凸的特性也让它取得了极好的效果。

目前在工业界,效果最好的依然是监督学习,而人类的无监督学习能力依然完胜计算机。也就是举一反三的能力,比如一个两岁小孩也能够理解直观物理学。小宝宝可以构建一个抽象但足够可靠的物理模型,主要原因在于它与真实世界进行了互动,而不仅仅是作为旁观者进行观察。

谷歌大脑研究科学家 Hugo Larochelle 在 AAAI 2008 年和 Bengio、Dumitru Erhan 一起发表了《Zero-data Learning of New Tasks》,提出了零数据学习的概念;它与零例学习(Zero-Shot Learning)一起,在领域适应性上努力尝试做出更多的迁移。

早期的 GANs 训练了包括数字、人脸、风景、动物的一系列样本,也包括卷积 GANs 的卧室图片。

而在 CVPR 2017 上,Bengio 团队也发表了一篇相关文章《即插即用生成网络:在潜在空间中生成条件迭代图像》。

此外,Bengio 还提及了一些遗漏的要点,比如:

  • 系统的学习越主动,无监督学习的效果越好。
  • 发现潜在的因果因素;
  • 基于模型的的 RL,扩展到新的预测模型,能够帮助分析一些难以观察到的危险情况;
  • 足够的算力能够让模型捕捉到人类层面的知识;
  • 自动挖掘不同的时间尺度,以处理长期依存关系;
  • 真正要理解人类的语言,依然需要足够的常识;
  • 零例学习,以及抽象和阐述以往的观察结果,得益于大规模的知识表征技术。

在演讲的最后,Bengio 强调了深度 AI(Deep AI)的未来,他认为有如下几点需要注意:

  • 科学的进步是缓慢而渐进的,但社会层面和经济层面的转变则可能是具有颠覆性的。
  • 我们面临着许多基础研究问题,虽然当我们逐一解决这些问题的时候,我们可能会面临更多的不确定,但我们仍然会继续攻克它们。
  • 不论是出于长期或是短期的考虑,持续对基础性/探究性 AI 研究进行投入非常重要。
  • 让我们继续让这一领域保持开放和自由,对社会影响保持开放的心态,并且相信,AI 将会持续发展,并受益我们的每一个人。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-09-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏IT派

机器学习入门知识体系

IT派 - {技术青年圈} 持续关注互联网、大数据、人工智能领域 随着2016年Alpha Go在围棋击败李世石,2017年初卡内基梅隆大学人工智能系统Lib...

4366
来自专栏人工智能LeadAI

Assignment 2 | 斯坦福CS231n-深度学习与计算机视觉课程

该笔记是以斯坦福cs231n课程的python编程任务为主线,展开对该课程主要内容的理解和部分数学推导。这篇文章是第二篇。 ? CS231n简介 CS231n的...

3846
来自专栏BestSDK

四大机器学习开源框架:Theano、Caffe、Torch 和 SciKit-learn你最喜欢哪款?

1.Theano Theano 在深度学习框架中是祖师级的存在。它的开发始于 2007,早期开发者包括传奇人物 Yoshua Bengio 和 Ian Good...

2995
来自专栏新智元

【干货】人工智能与深度学习最好的入门资源(下载)

此列表包含了人工智能和深度学习最好的入门资源,对初学者和想要进入这一领域但又不知道如何开始的人最为有用。 机器学习 机器学习领域的最佳入门介绍,可以在cours...

39713
来自专栏新智元

【深度学习下一大突破】吴恩达对话 Hinton、Bengio、Goodfellow(视频)

【新智元导读】吴恩达深度学习系列课程 Deeplearning.ai 上线,专设对话部分,用视频的形式将他对 7 位深度学习领袖的采访呈现出来,分别是 Geof...

2796
来自专栏新智元

Open AI 研究主管:实现无监督学习的最佳路径或是聚焦模型

【新智元导读】师从Hinton,吴恩达的斯坦福研究小组博士后,谷歌大脑顶级研究者,加拿大史上第一位 Google Fellow,DNN Research 创始人...

3336
来自专栏新智元

过去5年最受欢迎机器学习论文+代码速查

【新智元导读】Papers with Code网站将ArXiv上的最新机器学习论文与GitHub上的代码联系起来。这个项目索引了大约5万篇论文和1万个GitHu...

850
来自专栏大数据挖掘DT机器学习

机器学习知识体系

随着2016年Alpha Go在围棋击败李世石,2017年初卡内基梅隆大学人工智能系统Libratus在长达20天的鏖战中,打败4名世界顶级德州扑克玩家,这标志...

36711
来自专栏量子位

深度学习进化编年大事记

安妮 编译自 Import.io官方博客 量子位出品 | 公众号 QbitAI 本文作者Andrew Fogg,可视化网页抓取网站Import.io的联合创始人...

3317
来自专栏大数据文摘

这个用来玩儿游戏的算法,是谷歌收购DeepMind的最大原因

1226

扫描关注云+社区