【重磅】谷歌第二代深度学习系统TensorFlow首次解密(70PDF下载)

Google资深系统专家Jeff Dean在最近的湾区机器学习大会做了 Large-Scale Deep Learning for Inelligent Computer Systems 的演讲。

在大会上,Jeff Dean 解密了谷歌未曾在论文上发表过的第二代深度学习系统TensorFlow。

【Jeff Dean】在过去的几年间,我们已经建立了两代用于训练和部署神经网络的计算机系统,并且将这些系统应用于解决很多在传统上来说对计算机而言很难的问题。我们对许多这些领域的最新技术做了很大的改进,我们的软件系统和算法已经被Google的很多小组采用,运用在语音识别、图像识别、视觉检测任务、语言建模、语言翻译和许多其它任务的模型训练上。在这次讲演中,我会介绍我们从第一代分布式训练系统中得到的经验教训,并讨论在设计第二代系统时的一些选择。然后我会讨论一下我们将通过哪些方式把它运用到Google的大量产品上,在这方面通常我们会与其他小组有密切的合作。

第一代系统DistBeliet在可扩缩性上表现很好,但在用于研究时灵活性达不到预期。对问题空间的更深理解让我们可以做出一些大幅度的简化。

这也是第二代系统的研发动机,用 TensorFlow 表达高层次的机器学习计算。它是C++语言编写的核心,冗余少。而不同的前端,现有Python和C++前端,添加其他语言的前端也不是难题。

在2015年10月5日,谷歌为TensorFlow提交了注册商标申请(登记编号86778464),这样描述它:

1.用以编写程序的计算机软件;

2.计算机软件开发工具;

3.可应用于人工智能、深度学习、高性能计算、分布式计算、虚拟化和机器学习这些领域;

4.软件库可应用于通用目的的计算、数据收集的操作、数据变换、输入输出、通信、图像显示、人工智能等领域的建模和测试;

5.软件可用作应用于人工智能等领域的应用程序接口(API)。

以下是关于TensorFlow的图文介绍

Google 在 Deep Learning 上已经有很多使用,例如Android、Apps、Gmail等。前段时间Google刚出了一个产品,邮箱通过人工智能技术,自动回复信息。

这篇演讲从两个方面谈:

1、对第一代深度学习系统的总结

2、介绍第二代深度学习系统 TensorFlow。

TensorFlow:第二代深度学习系统

研发动机:

第一代系统DistBeliet在可扩缩性上表现很好,但在用于研究时灵活性达不到预期。对问题空间的更深理解让我们可以做出一些大幅度的简化。

TensorFlow:表达高层次的机器学习计算

C++语言编写的核心,冗余少。

不同的前端,现有Python和C++前端,添加其他语言的前端也不是难题。

TensorFlow代码举例(批量逻辑回归)

计算可以用一张数据流图来理解。

我们输入数据、权重、误差以及标签,在不同节点进行不同的运算。

这是使用张量计算的示意图。

这是使用状态计算的示意图。

这是使用分布式计算的示意图。

它能够在各个平台上自动运行模型:电话上,单个机器上(CPU或GPU),由成百上千的GPU卡组成的的分布式系统

TensorFlow名字的意义

Tensor(张量)意味着N维数组。1维时就是向量,2维时就是矩阵;通过图像可以代表更高维的数据流,比如,图像可以用三维张量(行,列,颜色)来表示。

Flow(流)意味着基于数据流图的计算。有许多运算(图中的节点)应用在数据流上。

张量从图象的一端流动到另一端,这就是“TensorFlow”。“边”代表张量(数据),节点代表运算处理。

它的灵活性体现在它通用的计算基础设施上,包括:在内核之上有一组库支持深度学习;对其他机器学习算法也很有用;也有可能胜任高性能计算的任务;抽象出潜在的设备或计算性硬件

它的可延展性体现在它的核心系统定义了大量的标准运算函数和内核函数(实现对特定设备的操作)以及它易于定义新的运算函数和/或内核函数。

TensorFlow中的深度学习:

1. 典型的神经网络的每一“层”会对应到一个或多个张量运算。

2. 专用于深度学习运算的库,包括了:许多高层次的运算,如2D 和3D卷积,池化(Pooling), Softmax回归等等;标准损失函数,如交叉熵(Corss Entropy),L1,L2等等;多种优化方法,如梯度下降(Gradient Descent), AdaGrad, L-BFGS等等。

3. 自动微分。

4. 易于使用(甚至混合使用)许多种不同的模型,包括LSTMs,卷积模型,注意力模型, 强化学习,Embedding模型, 类图灵机模型等等。

没有明确的参数服务器子系统时:

1、参数是图像中的节点。

2、数据并行训练画出来的示意图不过是更复杂一点而已。

这是同步变量的情况。

Jeff Dean 还对第一代谷歌深度学习系统的应用以及出现的问题进行了总结,也阐述了第二代深度学习系统之所以要出现的重要原因。

如需了解更多,请下载PDF全文阅读。

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2015-11-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

【干货】爆款最新机器学习论文,揭秘黑盒子模型

近年来,许多准确的决策支持系统被构建为黑盒子,即向用户隐藏其内部逻辑的系统。缺乏解释性既是实际问题,也是道德问题。这篇综述文献报道了许多旨在克服这一至关重要弱点...

1173
来自专栏编程坑太多

2018年最受欢迎Python机器学习库介绍

1863
来自专栏机器之心

人人都可参与的AI技术体验:谷歌发布全新搜索引擎Talk to Books

选自Research.Google 作者:Ray Kurzweil 机器之心编译 参与:路、张倩、李泽南 作为搜索引擎起家的科技巨头,谷歌曾推出过很多有意思的...

3365
来自专栏机器之心

Jeff Dean「Hot Chips 2017」演讲:AI对计算机系统设计的影响

机器之心报道 参与:机器之心编辑部 在刚刚结束的 2017 年国际高性能微处理器研讨会(Hot Chips 2017)上,微软、百度、英特尔等公司都发布了一系列...

3256
来自专栏应兆康的专栏

送给刚踏入数模路上的萌新们

送给刚踏入数模路上的萌新们 这里不会引用任何官方术语,均为我个人的理解,所以小伙伴们放心阅读 前面如果觉得很枯燥,可以调到后面,后面会提供干货 顺便打个广告,嘿...

43910
来自专栏AI研习社

从莫扎特到披头士,Facebook 新 AI 轻松转换音乐风格

想象一下:你的朋友几周来一直在唠叨你听一首歌,尽管你已经告诉他你不喜欢 Ed Sheeran。 他们继续纠缠你,声称“旋律是伟大的”。 如果只有你能听到文明形式...

1543
来自专栏AI科技评论

百度ICML论文:如何用一种算法同时解决中英两种语言的语音识别需求

论文作者:Dario Amodei , Rishita Anubhai , Eric Battenberg , Carl Case , Jared Casper...

44612
来自专栏AI研习社

丧尸目标检测:和你分享 Python 非极大值抑制方法运行得飞快的秘诀

你知道的,昨晚在我在看《行尸走肉》时,不是享受僵尸野蛮和被迫吃人,或引人入胜的故事情节,我只想建立一个目标检测系统来对僵尸进行识别。

811
来自专栏AI科技评论

开发 | 谷歌开源物体检测系统 API (附代码下载地址)

AI科技评论按:6月15号,谷歌在其“谷歌开源”博客(Google Open Source )中发表一篇名为《Supercharge your Computer...

3115
来自专栏数据魔术师

干货 | 变邻域搜索算法(Variable Neighborhood Search,VNS)超详细一看就懂

3.6K8

扫码关注云+社区

领取腾讯云代金券