Yann LeCun 最新演讲:人工智能下一站——无监督学习(68ppt)

【新智元导读】 日前,Facebook AI 实验室负责人、纽约大学教授 Yann LeCun 受邀来到 CMU 进行分享,讲述深度学习领域最近技术进展,并回答听众提问。LeCun 表示,未来几年的挑战是让机器学会从原始的、没有标签的数据中学习,比如从视频或文本中学习,也就是无监督学习。如今的 AI 系统并不具有所谓的“常识”,有些人认为,无监督学习将是机器具有常识的关键。 LeCun认为,对抗式生成网络是近20年来最酷的创造,他个人非常看好。

LeCun 从深度学习的基础讲起,评析了实现无监督学习的几种方法。演讲中,LeCun 结合神经网络历程以及现在为人熟知的各位大牛的相关故事,是一次十分生动而且技术含量丰富的分享。 视频 机器学习历史,从感知机谈起

LeCun:很高兴来到CMU。我第一次到美国来还是30多年前,当时是 Summer School 第一次举办,组织人是 Geoff Hinton 和 Tarry Konarski。

从照片中可以看见年轻的 Geoff Hinton,他当时还是 CMU 的研究员。Tarry Knoafski、Jay McLaren(他当时也在CMU),在 McLaren 旁边是 Michael Jordan。照片上的这些人现在基本都已经成就了一番大事业。还有我,我就在那里(具体位置待补充)。你看,我的头发基本上跟当时一样多呢——这是好事一件。

当时是段美好的时间。那时候是人们第一次开始提起 Backpropagation,Backpro 这个概念在当时真的超级火,虽然论文还没有发表出来——照照片的时候还是 1986 年7月,在章节中涉及 BP 算法的书后来才出版,相关论文也是一年后才在 Nature 发表。

我当时自己也在单独做有关 BP 的一些研究,工作发表后,立即引发了轰动。Hinton 他们也知道了这件事,一年后便去了多伦多(邀请我来美国)……这是我第一次来到美国高校的这样一个环境,体验非常棒。我当时就住在旁边的宿舍,跟一个人合住,他那时候还是法国的大学生,因为我们两个都说法语,他们就安排我们两人住一起。现在,他已经成为超级名人,是法国最著名的认识科学家之一,研究意识之类的东西,总之是个很厉害的人。

我现在展示的这张照片显示的是感知机——我们都忘记了 20 世纪 50 年代的感知机,但感知机可以说是所有神经网络的基础。感知机实际上并不是一个计算机程序,而是一台模拟计算机(analog computer)

,这个大家伙的每个模块(module)都是一个权重。与神经元模型不同,感知器中的权值是通过训练得到的。你只要一按键,当系统发生错误时,所有的模块都会“死过去”。

感知机运行权重实际上取决于你按键的时间有多长。那块平板就是特征提取器。现在用 Python 很轻松就能实现,但在当时这可是一件难事。感知器类似一个逻辑回归模型,可以做线性分类任务。由此产生出了特征提取模型以及后来的分类模型,几十年来一直被作为物体识别的标准方法被人使用。

我们都知道监督学习是什么了,而我之所以要提监督学习,是因为后面我们会涉及为什么它有局限。在机器学习中,我们将样本——比如汽车或者飞机的图像,输入有很多可调参数的机器里——这实际上是一个类比。当输入的是一辆车时,红灯就会亮,当输入是飞机时就打开绿灯。然后我们就不停调整参数。通过增加梯度,我们可以调整亮绿灯的次数。

深度学习原理和典型应用介绍

深度学习:整个机器都是可训练的

传统模式识别、现代主流的模式识别与深度学习的区别:代表(Representations)是分层的并且可训练的。

监督学习:机器可以识别自己从未见过的东西吗?

多层神经网络:

一个单元包含多层神经网络

一个单元计算其获得的输入的一部分加权和

加权和会通过一个非线性函数

学习算法会改变权重

反向传播的梯度计算

卷积网络架构

卷积网络工作流程的可视化

用于物体识别的深度卷积网络

深度学习就是学习各层中的表征

视觉皮质层上的层级结构

极深的卷积网网络架构:VGG、 GoogleNet、ResNet

监督式的卷积网络

用于自动驾驶

用于机器人

使用卷积网络生产图说、词义分割

使用卷积网络进行的自动驾驶

DeepMask:卷积定位和物体识别

几个图像识别的案例

记忆增强网络(差分计算)

用一个记忆模块增强神经网络

递归神经网络不能长久地记忆

需要一个额外的记忆模块

差分记忆

记忆/堆栈 增强递归网络

记忆网络研究

使用案例:问答系统

bAbI任务中,端到端的记忆网络

实体递归神经网络

EntNet 是世界上首个解决了所有20个bAbI任务的模型

AI 面临的阻碍:常识

1. 机器需要学习/理解世界的运转方式

物理世界、数字世界、人

需要掌握常识

2. 机器需要学会大量的背景知识

通过观察或者行动

3.机器需要感知世界的变化

以作出精准的预测和计划

4.机器需要更新并记住对世界状态的预测

关注重大事件、记住相关事件

5. 机器需要会推理和计划

预测哪些行动会带来预期的改变

智能&常识=感知+预测模型+记忆+推理&计划

什么是常识?代词“它”的指代对象,动作的执行者。机器该怎么理解。

增强学习、监督学习、非监督学习在预测上的不同

智能系统的架构:学习智能体+不可变对象

AI 系统详解:预测+计划=推理

学习物理:物理网络

非监督学习:能量函数

基于能量的非监督学习,能量函数

塑造能量函数的7大步骤

对抗训练,20年来最酷的技术

难点:在非确定性的情况下做预测

基于能量的非监督学习

对抗训练:可训练的对象函数

在图像识别上的应用

对抗训练实例:视频预测

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2016-11-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏包子铺里聊IT

经典智能算法快速入门——神经网络概念篇

在大数据年代,各种机器学习算法的应用也日渐广泛。虽然在实际生产中只要调用各种成熟的算法库即可解决机器学习问题,但我们也需要对这些算法有概念上的了解。小编在这里就...

3036
来自专栏人工智能头条

如何让C罗在FIFA中的人脸更逼真?这个深度学习算法或将改变整个游戏产业!

1854
来自专栏量子位

十个生成模型(GANs)的最佳案例和原理 | 代码+论文

王小新 编译 原文作者:Sumeet Agrawal 量子位 出品 | 公众号 QbitAI 生成对抗网络(GANs)是一种能“教会”计算机胜任人类工作的有趣方...

6166
来自专栏人工智能头条

美国密歇根州立大学终身教授金榕:大数据的挑战与随机机器学习算法

2085
来自专栏智能算法

2016年不可错过的21个深度学习视频、教程和课程

几年之前,深度学习还是机器学习中一个不太受人关注的领域。随着最近神经网络和大数据概念的出现,很多复杂任务的实现已经成为可能。 目前,深度学习已经被应...

37812
来自专栏AI科技评论

BAT资深算法工程师「Deep Learning」读书系列分享(一)

AI科技评论按:「Deep Learning」这本书是机器学习领域的重磅书籍,三位作者分别是机器学习界名人、GAN的提出者、谷歌大脑研究科学家 Ian Good...

40812
来自专栏新智元

11位机器学习大牛最爱算法全解

【新智元导读】“你最喜欢的机器学习算法是什么?”这个问题有些像“你最喜欢的颜色是什么?”说不重要吧,细究起来,颇有深意。本文摘选一些机器学习大牛在 Quora ...

3908
来自专栏ATYUN订阅号

使用实体嵌入的结构化数据进行深度学习

嵌入(embedding)的想法来自于NLP(word2vec)

3188
来自专栏jeremy的技术点滴

机器学习课程_笔记01

3616
来自专栏AI研习社

Kaggle 冰山图像分类大赛近日落幕,看冠军团队方案有何亮点

AI 研习社按,在日前结束的 Kaggle「Statoil/C-CORE Iceberg Classifier Challenge」(冰山图像分类大赛)中,由 ...

1982

扫码关注云+社区

领取腾讯云代金券