谷歌大脑负责人Jeff Dean:深度学习技术及趋势报告(76页PPT)

【新智元导读】谷歌大脑负责人Jeff Dean上周在“嵌入式视觉年度峰会”上发表演讲《智能计算系统中的大规模深度学习》,结合多年应用实例,讨论在从手机到数据中心等不同环境中部署机器学习模型的不同方法,着重介绍TensorFlow如何帮助开发者加速研究转化率、共享模型。

Jeff Dean,计算机科学家与软件工程师。Google大脑项目负责人,曾参与开发 BigTable、MapReduce 等产品。关于他有很多传说,比如有一天当Jeff Dean在优化一个功能时,他被迫发明了异步调用的API。这样的话这个功能可以在它被调用之前就可以返回结果了。

关注新智元微信公众号,回复 0520 下载PPT全文(76页)

亮点

  • 深度学习在语音、视觉、语言和语义等方面为计算机实现理解做出极大贡献
  • 如果不考虑使用深度学习,很有可能是你的pre-trained模型或API太旧
  • TensorFlow的好处
  1. 高度扩展的设计,更快的实验速度加速研究进程
  2. 容易分享模型,开发代码应用到可重用的效果
  3. 通过同一个系统把研究工作直接用于生产环境

智能计算系统中的大规模深度学习

打造智能产品,

必须让计算机理解——而理解不是一件简单的事情

虽然离终点还有距离,但研究人员做出了显著进展

演讲大纲

  • 为何要使用神经网络?
  • 实际案例:运用神经网络解决真实世界问题
  • TensorFlow 全面解析
  • 应用举例

“谷歌大脑”项目始于2011年,专注于发展最先进的神经网络。初期重点是:

  • 使用大数据集,以及
  • 海量计算

尽可能拓展计算机的感知和语言理解能力

随着时间推移,深度学习在谷歌得到越来越广泛的应用

深度学习的潜力(目标)

实现跨领域通用表征

数据和简单的机器学习算法取代繁冗编码

深度学习在产业界和学术界的应用

语音识别

目标识别和检测

机器翻译

语言建模

语法分析

神经网络是一些从数据提炼的复杂函数,从一个空间输入转化为另一个空间的输出。

深度网络模型与大脑运作原理相似,但并非直接模拟神经元如何工作,而是一种简单抽象的神经元网络。人工神经元不会产生脉冲,只会生成数值。神经元的函数就是通过非线性函数计算输入的加权乘以权重之和。

最低层的神经元会查看像素的小块,更高层的神经元会看下层神经元输出再决定是否生产。Google目前有能力快速搭建和训练基于海量数据的模型,解决真实世界中的实际问题,在不同的平台(比如移动端、GPU、云端)部署生产模型。

学习算法:重点与误区(略)

如何构建能够真正理解这些原始数据的计算系统?

神经网络特点(略)

深度学习在谷歌的应用

语音识别

图像识别

图像搜索与分类

谷歌街景

描述图像

翻译团队写了一个App,使用计算机视觉来识别镜头中文字,再翻译成文本,最后在图片上覆盖翻译好的文字。模型足够小可以在所有设备上运行。

机器学习系统的理想特征

  • 容易表达
  • 可扩展
  • 多平台适用
  • 可重复使用
  • 快速见效

TensorFlow:第二代深度学习系统

概述(略)

初代历史(略)

GitHub 资源(略)

制作动机(略)

TensorFlow:表达高级机器学习计算(略)

计算可以用一张数据流图表示

我们输入数据、权重、误差以及标签,在不同节点进行不同的运算。Tensor 意味着N维数组,1 维时就是向量,2 维时就是矩阵;用图像可以可以用三维张量(行、列、颜色)表示更高维的数据流;Flow(流)意味着基于数据流图的计算。有许多运算(图中的节点)应用在数据流上。张量从图象的一端流动到另一端,这就是“TensorFlow”。“边”代表张量(数据),节点代表运算处理。

使用张量计算

使用状态计算

使用分布式计算

理想的移动端和嵌入式部署

  • 高效率
  • 低能耗
  • 体积适中

使用低精度整数运算

补充资源

TensorFlow 应用举例

(1)使用云端API

(2)使用Pre-trained图像模型

(3)用你自己的图像数据训练模型

(4)开发你自己的机器学习模型

深度学习展望(略)

应用领域(略)

与机器人视觉结合

总结

  • 深度学习在语音、视觉、语言和语义等方面为计算机实现理解做出极大贡献
  • 如果不考虑使用深度学习,很有可能是你的pre-trained模型或API太旧
  • TensorFlow的好处
  1. 高度扩展的设计,更快的实验速度加速研究进程
  2. 容易分享模型,开发代码应用到可重用的效果
  3. 通过同一个系统把研究工作直接用于生产环境
  • 演讲题目:Large-Scale Deep Learning for Intelligent Computing Systems
  • 资料来源:embedded-vision.com

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2016-05-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏企鹅号快讯

现在 tensorflow和mxnet 很火,是否还有必要学习 scikit-learn 等框架?

本文整理自作者在知乎问题《现在 tensorflow 和 mxnet 很火,是否还有必要学习 scikit-learn 等框架?》下的回答,AI 研习社获其作者...

35470
来自专栏机器之心

深度 | 解读R-Net:微软「超越人类」的阅读理解人工智能

34970
来自专栏美图数据技术团队

干货 | 基于用户行为的视频聚类方案

在个性化推荐系统中,通常是由挖掘物品属性来理解用户兴趣,从而构建推荐模型。从用户行为去理解物品属性往往做得比较简单,通常只是一些简单的标签统计。为了深入到用户行...

44240
来自专栏智能算法

关于深度学习的框架、特征和挑战

在嵌入式系统上的深度学习 随着人工智能 (AI) 几乎延伸至我们生活的方方面面,主要挑战之一是将这种智能应用到小型、低功耗设备上。这需要嵌入式平台,能够处理高性...

34970
来自专栏机器之心

自动「脑补」3D环境!DeepMind最新Science论文提出生成查询网络GQN

作者:S. M. Ali Eslami、Danilo Jimenez Rezende

10400
来自专栏大数据挖掘DT机器学习

你还在用“人工特征工程+线性模型”?

作者:李沐M 11年的时候我加入百度,在凤巢使用机器学习来做广告点击预测。当时非常惊讶于过去两年内训练数据如此疯狂的增长。大家都在热情的谈特征,每次新特征的...

39780
来自专栏量子位

详解个性化推荐五大最常用算法

允中 若朴 编译自 Stats&Bots 量子位 出品 | 公众号 QbitAI ? 推荐系统,是当今互联网背后的无名英雄。 我们在某宝首页看见的商品,某条上读...

40250
来自专栏AI科技大本营的专栏

课程 | 工程大咖带你入门深度学习+TensorFlow

《深度学习基础与TensorFlow实践》 AI100学院有幸邀请到《深度学习原理与TensorFlow实践》作者之一、百纳信息公司AI方向负责人王琛老师6月...

35450
来自专栏数据派THU

独家 | 一文带你读懂特征工程!

本文描述了一个典型的基于跨行业标准流程的标准机器学习管道,作为数据挖掘行业的标准过程模型。

11010
来自专栏人工智能头条

深度学习在推荐领域的应用

19340

扫码关注云+社区

领取腾讯云代金券