Andrej Karpathy:监督学习、无监督学习、人脑模拟和AGI的未来(83 PPT下载)

【新智元导读】Andrej Karpathy是深度学习和计算机视觉专家、特斯拉人工智能部门主管,他最近在 Y Conf 作题为《通用人工智能从何处来?》的演讲,讨论监督学习、无监督学习、AIXI等领域最新的进展,带来AGI解决方案的一些深刻见解。本文提供全部PPT和简要介绍。

PPT下载:https://docs.google.com/presentation/d/119VW6ueBGLQXsw-jGMboGP2-WuOnyMAOYLgd44SL6xM/edit#slide=id.p

通用人工智能(AGI)从何来?

“Deep Learning”这个词的搜索热度

技术进步的几个关键时间点:

  • 2012年:图像识别
  • 2010年:语音识别
  • 2014年:机器翻译

……

机器智能生态全景图3.0 [Shivon Zilis]

两个观点:

  1. 今天的AI仍然非常“窄”
  2. 但得益于深度学习,我们能够更快地更新解决方案

例如:AlphaGo

围棋AI的有利属性:

  • 完全确定性的。游戏中没有噪音。
  • 可以完全观察的。每一个玩家都拥有完全的信息。
  • 行动空间是不连续的。动作具有有限数量的可能性。
  • 能够获得一个完美的模拟器(游戏本身),所以每一步能取得的效果都是可以精确预测的。
  • 每一盘棋都很短,只有大约200手。
  • 评估是清晰、快速的,允许大量的试错。有大量的人类棋谱数据。

参考 Karpathy 博客文章:

Andrej Karpathy:为什么 AlphaGo很难应用到围棋以外的世界?

问题:可以把AlphaGo的方法应用在Amazon拣货挑战赛的机器人上吗?

  • 完全确定性的。游戏中没有噪音。——OK
  • 可以完全观察的。每一个玩家都拥有完全的信息。——大概OK
  • 行动空间是不连续的。动作具有有限数量的可能性。——OK
  • 能够获得一个完美的模拟器(游戏本身),所以每一步能取得的效果都是可以精确预测的。——不好
  • 每一盘棋都很短,只有大约200手。——难
  • 评估是清晰、快速的,允许大量的试错。——不好
  • 有大量的人类棋谱数据。——难

小结

  • AI很热门。
  • AI仍然非常窄。
  • AI技术在某些情况工作很好,但还可以更进一步。

假如我们能够让AI不再那么“窄”,会怎样?

一般技术的成熟度曲线 vs AI技术成熟度曲线

那么,通用人工智能(AGI)从何处来?

  • 监督学习
  • 无监督学习
  • AIXI(AGI的理论数学形式)
  • 脑模拟
  • 人工生活
  • 雷达看不到的东西

第一部分:监督学习

监督学习:收集很多很多有标签的数据,然后利用这些数据训练神经网络

Amazon Mechanical Turk(亚马逊土耳其机器人)

核心想法:从人类行为中收集数据,然后训练一个大型网络去模拟人类

这种方法的AI:

  • 模拟/生成类似人类的行动
  • 这些AI有创造力吗?——(或许有)
  • 它们能在一个房间里摆好桌子/椅子吗?——(能)
  • 它们能统治人类吗?

第二部分 无监督学习

无监督学习:大的生成模型

例如:(变分)自编码器

另一个例子:Unsupervised Sentiment Neuron(无监督情感神经元)

参考:OpenAI 发现独特情感神经元,无监督学习系统表征情感取得突破

想法:

  • 在一个大型无标签评论语料库(Amazon网站上的评论)训练一个大型 char-rnn 网络
  • 一个神经元自动地“发现”一个小情感分类器(该高级特征帮助预测下一个字符)

神经网络有强大的“大脑状态”

那么,这样的AI能够接管世界吗?——(不)

第三部分:AIXI

AIXI:

  • 应用于通用人工智能的算法信息理论。(Marcus Hutter)
  • “通用智能”的正式定义。(Shane Legg)
  • 图灵机假设空间的贝叶斯强化学习智能体。

AIXI 表达式

super intelligent agent 的定义

MC-AIXI agent loop

这些AI是怎样的?

  • 我们需要给它一个奖励信号。这个奖励可能很难写下来,可能导致“反常实例化”(perverse instantiation)。
  • 或许人类可能说要给奖励,但它的行为可能没有被人类觉察到。
  • 计算上非常困难,而且人类不擅长写复杂的代码。(例如,“AIXI approximation”)
  • 这个智能体相当可怕,绝对是有“智能”的。

第四部分:人脑模拟

如何测量一个完整的大脑状态?

  • 抽象的级别?
  • 如何模拟动态?
  • 如何模拟进入感官的“环境”?
  • 各种伦理上的难题

第五部分:Artificial Life

自然智能从何而来?

结论:我们需要创造激励新的认知工具的环境

多智能体环境的益处:

  • 多样性——环境有它的智能体参数化,因此最佳策略必须是动态推导的
  • 自然设置——环境的难度取决于其他智能体的能力

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2017-09-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据挖掘DT机器学习

面试机器学习、大数据岗位时遇到的各种问题

作者:@太极儒 自己的专业方向是机器学习、数据挖掘,就业意向是互联网行业与本专业相关的工作岗位。各个企业对这类岗位的命名可能有所不同,比如数据挖掘/自然语言处理...

385160
来自专栏AI科技评论

干货 | 增强学习对于机器人运动控制的六字真言

五月末的人机大战让世人大开眼界,顶级围棋手柯洁落下的眼泪、微博的叹息,都是对AlphaGo这颗强劲“大脑”的赞叹。然而,让人工智能走出娱乐和游戏,真正进入人类的...

350130
来自专栏人工智能头条

深度学习 vs 机器学习 vs 模式识别

15430
来自专栏吉浦迅科技

NVIDIA研究员如何进行机器人的抓取研究(附Deep Object Pose Estimation 代码)

英伟达的机器人研究人员开发了一种基于深度学习的新系统,该系统允许机器人在其环境中感知家居物体,以获取物体并与之互动。通过这种技术,机器人能够对已知的家用物体进行...

25420
来自专栏数据科学与人工智能

【机器学习】我在面试机器学习、大数据岗位时遇到的各种问题

自己的专业方向是机器学习、数据挖掘,就业意向是互联网行业与本专业相关的工作岗位。各个企业对这类岗位的命名可能有所不同,比如数据挖掘/自然语言处理/机器学习算法工...

34360
来自专栏企鹅号快讯

IBM公司利用人工智能预测化学反应结果

IBM公司的人工智能软件将原子看作字母、分子看作单词,使用计算机翻译语言的相同方法来预测有机化学反应的结果,从而加速新药的研制。 通过将原子看作字母、将分子理解...

203100
来自专栏机器之心

学界 | 如何设计奖励函数

选自 nlpers.blogspot 机器之心编译 参与:Jane W、黄小天 作者Hal Daumé III是美国马里兰大学计算机科学院CLIP lab副教授...

346110
来自专栏人工智能快报

IBM公司利用人工智能预测化学反应结果

IBM公司的人工智能软件将原子看作字母、分子看作单词,使用计算机翻译语言的相同方法来预测有机化学反应的结果,从而加速新药的研制。 通过将原子看作字母、将分子理解...

44980
来自专栏新智元

【2018深度学习10大警示】多数芯片公司将破产;自我对弈可自动创造知识

来源:Medium 编辑:Cecilia 【新智元导读】2018年,对于深度学习来说,将是剧变的一年。多数硬件公司将破产;元学习将成为新随机梯度下降法;直觉机器...

32840
来自专栏机器之心

业界 | 向机器学习偏见开战:谷歌展示全球涂鸦数据集分析结果

选自Google Research 作者:Reena Jana等 机器之心编译 参与:路雪 机器学习系统对日常生活的影响越来越大,软硬件产品都使用机器学习系统为...

37890

扫码关注云+社区

领取腾讯云代金券