谷歌大脑负责人Jeff Dean：深度学习技术及趋势报告（76页PPT）
谷歌大脑负责人Jeff Dean：深度学习技术及趋势报告（76页PPT）
【新智元导读】谷歌大脑负责人Jeff Dean上周在“嵌入式视觉年度峰会”上发表演讲《智能计算系统中的大规模深度学习》，结合多年应用实例，讨论在从手机到数据中心等不同环境中部署机器学习模型的不同方法，着重介绍TensorFlow如何帮助开发者加速研究转化率、共享模型。
Jeff Dean，计算机科学家与软件工程师。Google大脑项目负责人，曾参与开发 BigTable、MapReduce 等产品。关于他有很多传说，比如有一天当Jeff Dean在优化一个功能时，他被迫发明了异步调用的API。这样的话这个功能可以在它被调用之前就可以返回结果了。
关注新智元微信公众号，回复 0520 下载PPT全文（76页）
亮点
- 深度学习在语音、视觉、语言和语义等方面为计算机实现理解做出极大贡献
- 如果不考虑使用深度学习，很有可能是你的pre-trained模型或API太旧
- TensorFlow的好处
- 高度扩展的设计，更快的实验速度加速研究进程
- 容易分享模型，开发代码应用到可重用的效果
- 通过同一个系统把研究工作直接用于生产环境
智能计算系统中的大规模深度学习
打造智能产品，
必须让计算机理解——而理解不是一件简单的事情
虽然离终点还有距离，但研究人员做出了显著进展
演讲大纲
- 为何要使用神经网络？
- 实际案例：运用神经网络解决真实世界问题
- TensorFlow 全面解析
- 应用举例
“谷歌大脑”项目始于2011年，专注于发展最先进的神经网络。初期重点是：
- 使用大数据集，以及
- 海量计算
尽可能拓展计算机的感知和语言理解能力
随着时间推移，深度学习在谷歌得到越来越广泛的应用
深度学习的潜力（目标）
实现跨领域通用表征
数据和简单的机器学习算法取代繁冗编码
深度学习在产业界和学术界的应用
语音识别
目标识别和检测
机器翻译
语言建模
语法分析
神经网络是一些从数据提炼的复杂函数，从一个空间输入转化为另一个空间的输出。
深度网络模型与大脑运作原理相似，但并非直接模拟神经元如何工作，而是一种简单抽象的神经元网络。人工神经元不会产生脉冲，只会生成数值。神经元的函数就是通过非线性函数计算输入的加权乘以权重之和。
最低层的神经元会查看像素的小块，更高层的神经元会看下层神经元输出再决定是否生产。Google目前有能力快速搭建和训练基于海量数据的模型，解决真实世界中的实际问题，在不同的平台（比如移动端、GPU、云端）部署生产模型。
学习算法：重点与误区（略）
如何构建能够真正理解这些原始数据的计算系统？
神经网络特点（略）
深度学习在谷歌的应用
语音识别
图像识别
图像搜索与分类
谷歌街景
描述图像
翻译团队写了一个App，使用计算机视觉来识别镜头中文字，再翻译成文本，最后在图片上覆盖翻译好的文字。模型足够小可以在所有设备上运行。
机器学习系统的理想特征
- 容易表达
- 可扩展
- 多平台适用
- 可重复使用
- 快速见效
TensorFlow：第二代深度学习系统
概述（略）
初代历史（略）
GitHub 资源（略）
制作动机（略）
TensorFlow：表达高级机器学习计算（略）
计算可以用一张数据流图表示
我们输入数据、权重、误差以及标签，在不同节点进行不同的运算。Tensor 意味着N维数组，1 维时就是向量，2 维时就是矩阵；用图像可以可以用三维张量（行、列、颜色）表示更高维的数据流；Flow（流）意味着基于数据流图的计算。有许多运算（图中的节点）应用在数据流上。张量从图象的一端流动到另一端，这就是“TensorFlow”。“边”代表张量（数据），节点代表运算处理。
使用张量计算
使用状态计算
使用分布式计算
理想的移动端和嵌入式部署
- 高效率
- 低能耗
- 体积适中
使用低精度整数运算
补充资源
TensorFlow 应用举例
（1）使用云端API
（2）使用Pre-trained图像模型
（3）用你自己的图像数据训练模型
（4）开发你自己的机器学习模型
深度学习展望（略）
应用领域（略）
与机器人视觉结合
总结
- 深度学习在语音、视觉、语言和语义等方面为计算机实现理解做出极大贡献
- 如果不考虑使用深度学习，很有可能是你的pre-trained模型或API太旧
- TensorFlow的好处
- 高度扩展的设计，更快的实验速度加速研究进程
- 容易分享模型，开发代码应用到可重用的效果
- 通过同一个系统把研究工作直接用于生产环境
- 演讲题目：Large-Scale Deep Learning for Intelligent Computing Systems
- 资料来源：embedded-vision.com