LeCun:智能的精华在于预测能力!“预测学习”了解一下!

导读:在NIPS 2016大会上,著名研究者LeCun提出了预测学习(predictive learning)概念。在他的讲稿中,将机器学习比喻为“蛋糕”:

  • 强化学习,是蛋糕上的小樱桃:输入数据,输出1个数字,代表对于奖励的预测。
  • 有监督学习,是蛋糕的糖霜:输入数据,输出少量结论,例如图像的分类。
  • 无监督学习,预测学习,是蛋糕的真正本体:输入数据,输出同样量级的预测。 □ 例如:输入部分缺失的图像,输出将图像补充完整后的结果。 □ 例如:输入一段视频,输出对于视频的未来发展的预测,如下图所示。

预测学习很重要,而且可能是通往强人工智能的必经之路。目前深度学习的领军人物Hinton、LeCun、Bengio均在此投入了研究,也许它将带来AI的下一场革命。

在笔者看来,预测学习有几个重要特点:

1. 它需要逻辑,需要常识

例如,在预测视频的发展时,需学会物理定律(如牛顿三定律),学会不同事物的特征(如人体的不同关节的运动方法),学会空间立体的概念(需处理物体的平移,旋转,相互间的遮挡),等等。

  • 在推理和预测过程中,还需要记忆,包括长期和短期记忆。目前研究人员已有办法为网络加入各种记忆模组。

2. 它的数据特别容易获得

首先,它是无监督方法,无需人工标记。其次,网络上已经有浩如烟海的视频,截取出的每个片段都可用于训练。而且我们还可用摄像头轻松生成无穷无尽的新视频,甚至可让AI学会主动控制摄像头。

  • 我们还可使用游戏引擎生成视频画面。

3. 此前我们已看到数据对于深度学习的关键性

在使用海量数据训练后,深度网络有可能会逐渐掌握逻辑和常识,改善它此前在这两方面的缺陷,甚至自动发现物理定律。

  • “情感神经元”是很好的例证:仅仅是要求网络学会预测,网络就可自动发现深层次的规律。

4. 预测学习也有非常实际的用途

例如,在自动驾驶中,如果能预测其它车辆和行人的行为,就可以改善自动驾驶的性能和安全性。

在LeCun的讲稿中,给出了如下公式:

智能 = 感知 + 预测 + 记忆 + 推理和规划

笔者将其总结为:

记忆过去,感知现在,预测未来

如果与强化学习结合,可得到如下图所示的更完整的架构图。这里智能体的目标是最小化费用,这需要通过对世界建模实现。

目前在预测学习领域已有许多有趣的工作,例如让网络预测游戏环境中物体的下落和碰撞轨迹(PhysNet, https://arxiv.org/abs/1603.01312),如下图所示。

左边是游戏场景。右边上排是实际的下落和碰撞情况。右边下排是网络的预测,其中第1张图像是网络的输入,后续3张图像都是网络的预测。

可见,网络有能力大致预测出方块的运动情况,不过会随着时间的推移而越来越模糊。

这是预测模型中的常见现象,是因为未来有不确定性。如下图所示,未来有多种可能性,我们无法提前判知。

因此,如使用MSE作为拟合目标,网络会无所适从,最终造成图像模糊。

解决方法是引入GAN思想,用判别器网络判断未来的发展是否为真。这样网络可以给出更清晰的预测(虽然预测无法囊括未来的所有发展)。

例子见https://github.com/dyelax/Adversarial_Video_Generation,其中的动画非常有趣,推荐读者打开看一看。例如,对于吃豆人游戏的画面预测,如果不使用GAN,在经过一个岔路口时,由于网络不知道吃豆人会选择哪个路口,因此会在画面中同时显示出吃豆人向上走和向下走的轨迹。

关于作者:彭博,人工智能、量化交易、区块链领域的技术专家,有20年以上的研发经验。 在人工智能与信息科技方面,对深度学习、机器学习、计算机图形学、智能硬件等有较为深入的研究。

本文摘编自《深度卷积网络:原理与实践》,经出版方授权发布。

延伸阅读《深度卷积网络:原理与实践》

转载请联系微信:togo-maruko

点击文末右下角“写留言”发表你的观点

推荐语:20年开发经验专家/知乎大V,从技术理论、工作原理、实践方法等方面系统、深入讲解DCNN。

原文发布于微信公众号 - 大数据(hzdashuju)

原文发表时间:2018-05-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能头条

专家观点碰撞:深度学习能否取代其他机器学习算法

16840
来自专栏AI研习社

深度学习如何影响运筹学?

本文为知乎答主,运筹学博士郝井华在「深度学习如何影响运筹学?」问题下的答案,AI 研习社获其授权转载。 这个问题比较前沿一些,原来看起来相关性不那么强的技术领域...

32240
来自专栏CDA数据分析师

一文读懂机器学习,大数据/自然语言处理/算法全都有!

在本篇文章中,我将对机器学习做个概要的介绍。本文的目的是能让即便完全不了解机器学习的人也能了解机器学习,并且上手相关的实践。这篇文档也算是EasyPR开发的番外...

26280
来自专栏人工智能头条

一篇文章读懂机器学习

22640
来自专栏CSDN技术头条

2017年深度学习十大趋势预测

本文作者曾经多次预测了技术发展的趋势,最近的一次预测是“2011年软件发展的趋势与预测”。10项预言中,准确地命中了6项,比如JavaScript VM、NoS...

20180
来自专栏ATYUN订阅号

这个“读心术”的算法可以解读你大脑中的图像

想象一下,在一堆数码照片中快速搜索你想要的人或图像。或者在不拿笔的情况下,画出你喜欢的人的样子。一台能读懂你的大脑的计算机会在日常生活中提供很多帮助。现在,科学...

363150
来自专栏CDA数据分析师

Kaggle大神经验分享丨如何用15个月冲到排行榜的首位

在最新的Kaggle用户排行榜上,排名第一位的ID是Bestfitting,他本人叫Shubin Dai。Shubin Dai在两年前加入Kaggle,目前生活...

16130
来自专栏数据科学与人工智能

【机器学习】读懂机器学习

在本篇文章中,我将对机器学习做个概要的介绍。本文的目的是能让即便完全不了解机器学习的人也能了解机器学习,并且上手相关的实践。这篇文档也算是EasyPR开发的番外...

24290
来自专栏AI科技评论

独家揭秘| 数据挖掘、机器学习和深度学习之间的区别

导读:机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自...

38150
来自专栏数据科学与人工智能

【机器学习】一文读懂机器学习,大数据/自然语言处理/算法全有了……

作者:计算机的潜意识 在本篇文章中,我将对机器学习做个概要的介绍。本文的目的是能让即便完全不了解机器学习的人也能了解机器学习,并且上手相关的实践。这篇文档也算是...

475100

扫码关注云+社区

领取腾讯云代金券