专栏首页新智元谷歌大脑负责人Jeff Dean:深度学习技术及趋势报告(76页PPT)

谷歌大脑负责人Jeff Dean:深度学习技术及趋势报告(76页PPT)

【新智元导读】谷歌大脑负责人Jeff Dean上周在“嵌入式视觉年度峰会”上发表演讲《智能计算系统中的大规模深度学习》,结合多年应用实例,讨论在从手机到数据中心等不同环境中部署机器学习模型的不同方法,着重介绍TensorFlow如何帮助开发者加速研究转化率、共享模型。

Jeff Dean,计算机科学家与软件工程师。Google大脑项目负责人,曾参与开发 BigTable、MapReduce 等产品。关于他有很多传说,比如有一天当Jeff Dean在优化一个功能时,他被迫发明了异步调用的API。这样的话这个功能可以在它被调用之前就可以返回结果了。

关注新智元微信公众号,回复 0520 下载PPT全文(76页)

亮点

  • 深度学习在语音、视觉、语言和语义等方面为计算机实现理解做出极大贡献
  • 如果不考虑使用深度学习,很有可能是你的pre-trained模型或API太旧
  • TensorFlow的好处
  1. 高度扩展的设计,更快的实验速度加速研究进程
  2. 容易分享模型,开发代码应用到可重用的效果
  3. 通过同一个系统把研究工作直接用于生产环境

智能计算系统中的大规模深度学习

打造智能产品,

必须让计算机理解——而理解不是一件简单的事情

虽然离终点还有距离,但研究人员做出了显著进展

演讲大纲

  • 为何要使用神经网络?
  • 实际案例:运用神经网络解决真实世界问题
  • TensorFlow 全面解析
  • 应用举例

“谷歌大脑”项目始于2011年,专注于发展最先进的神经网络。初期重点是:

  • 使用大数据集,以及
  • 海量计算

尽可能拓展计算机的感知和语言理解能力

随着时间推移,深度学习在谷歌得到越来越广泛的应用

深度学习的潜力(目标)

实现跨领域通用表征

数据和简单的机器学习算法取代繁冗编码

深度学习在产业界和学术界的应用

语音识别

目标识别和检测

机器翻译

语言建模

语法分析

神经网络是一些从数据提炼的复杂函数,从一个空间输入转化为另一个空间的输出。

深度网络模型与大脑运作原理相似,但并非直接模拟神经元如何工作,而是一种简单抽象的神经元网络。人工神经元不会产生脉冲,只会生成数值。神经元的函数就是通过非线性函数计算输入的加权乘以权重之和。

最低层的神经元会查看像素的小块,更高层的神经元会看下层神经元输出再决定是否生产。Google目前有能力快速搭建和训练基于海量数据的模型,解决真实世界中的实际问题,在不同的平台(比如移动端、GPU、云端)部署生产模型。

学习算法:重点与误区(略)

如何构建能够真正理解这些原始数据的计算系统?

神经网络特点(略)

深度学习在谷歌的应用

语音识别

图像识别

图像搜索与分类

谷歌街景

描述图像

翻译团队写了一个App,使用计算机视觉来识别镜头中文字,再翻译成文本,最后在图片上覆盖翻译好的文字。模型足够小可以在所有设备上运行。

机器学习系统的理想特征

  • 容易表达
  • 可扩展
  • 多平台适用
  • 可重复使用
  • 快速见效

TensorFlow:第二代深度学习系统

概述(略)

初代历史(略)

GitHub 资源(略)

制作动机(略)

TensorFlow:表达高级机器学习计算(略)

计算可以用一张数据流图表示

我们输入数据、权重、误差以及标签,在不同节点进行不同的运算。Tensor 意味着N维数组,1 维时就是向量,2 维时就是矩阵;用图像可以可以用三维张量(行、列、颜色)表示更高维的数据流;Flow(流)意味着基于数据流图的计算。有许多运算(图中的节点)应用在数据流上。张量从图象的一端流动到另一端,这就是“TensorFlow”。“边”代表张量(数据),节点代表运算处理。

使用张量计算

使用状态计算

使用分布式计算

理想的移动端和嵌入式部署

  • 高效率
  • 低能耗
  • 体积适中

使用低精度整数运算

补充资源

TensorFlow 应用举例

(1)使用云端API

(2)使用Pre-trained图像模型

(3)用你自己的图像数据训练模型

(4)开发你自己的机器学习模型

深度学习展望(略)

应用领域(略)

与机器人视觉结合

总结

  • 深度学习在语音、视觉、语言和语义等方面为计算机实现理解做出极大贡献
  • 如果不考虑使用深度学习,很有可能是你的pre-trained模型或API太旧
  • TensorFlow的好处
  1. 高度扩展的设计,更快的实验速度加速研究进程
  2. 容易分享模型,开发代码应用到可重用的效果
  3. 通过同一个系统把研究工作直接用于生产环境
  • 演讲题目:Large-Scale Deep Learning for Intelligent Computing Systems
  • 资料来源:embedded-vision.com

本文分享自微信公众号 - 新智元(AI_era)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2016-05-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • TensorFlow 工程总监 Quora 问答:深度学习系统瓶颈及用户痛点

    【新智元导读】TensorFlow 工程总监Rajat Monga9月29日在Quora 上答疑,就深度学习效率瓶颈、TensorFlow 用户的痛点、如何用T...

    新智元
  • 机器学习先驱 Michael I. Jordan 清华演讲:更好的分布式机器学习(PPT)

    【新智元导读】今天,机器学习诸多理论的主要奠基人、美国三院院士 Michael I. Jordan受聘为清华大学访问教授,同时发表主题报告。Jordan认为,大...

    新智元
  • 【深度学习测颜值】基于TensorFlow的开源项目FaceRank

    【新智元导读】 用深度学习来评判颜值,已开源。好友 @小灰灰 大大的「颜值评分 FaceRank」,这是基于 TensorFlow 的 CNN 模型,美不美机器...

    新智元
  • MySQL5.7.25 下 报错提示innodb_table_stats 解决方法

    最近在做灾备数据从库, 从库版本使用的是5.7.25, 主库版本是5.7.22. 配置完主从同步后,瞄了一眼从库的错误日志里面,突然蹦出一堆的下面这种:

    二狗不要跑
  • 为什么深度学习无法预测股票?本能、理性与《星际争霸2》

    “ 如果你问我围棋的AlphaGo和《星际争霸2》的AlphaStar哪个更伟大,我肯定毫不犹豫地会说AlphaStar,因为它解决的是不完全信息动态博弈啊!—...

    用户7652506
  • 大数据数据库选型:NoSQL数据库入门

    大数据处理,涉及到从数据获取到数据存储、数据计算的诸多环节,各个环节需要解决的问题不同,相关岗位要求的技能也不同。在数据存储阶段,对数据库选型是非常重要的一项工...

    成都加米谷大数据
  • IoT前沿|纽约出租车数据交给Pravega分析,会怎么样?

    在这里,你的全身上下都被数据围绕,无处不在的物联网、穿梭自如的无人驾驶汽车让数据源源不断产生,就像开着的水管,数据源一直流出。你发现曾经用于分析大数据的方法已经...

    用户6543014
  • SQL Server分区表(二):添加、查询、修改分区表中的数据

    在创建完分区表后,可以向分区表中直接插入数据,而不用去管它这些数据放在哪个物理上的数据表中。我们在创建好的分区表中插入几条数据:

    Vaccae
  • 入行十余载,一字一句敲出数控行业的经验和总结

    A:思路:  先知道工件大小  -- 开粗刀具直径--二次开粗清角直径--要不要再次清角--中光平面----中光外形--光平面,大刀小刀光外形凸或凹  --清角...

    UG数控编程
  • 微软将在Office 365中屏蔽Flash

    这次全面的禁用政策不只是禁用了有问题的控件,并且用户也不能像从前一样通过点击查看选项来浏览Flash 文件。该项禁用政策意味着Office 365将完全地阻止F...

    FB客服

扫码关注云+社区

领取腾讯云代金券