开发 | 谷歌刚发布的深度学习动态计算图工具TensorFlow Fold是什么?

2 月 7 日,谷歌通过博客正式发布了 TensorFlow Fold,该库针对 TensorFlow 1.0 框架量身打造,可以帮助深度学习开发者根据不同结构的输入数据建立动态的计算图(Dynamic Computation Graphs),简化了模型训练阶段对输入数据的预处理过程,提升了系统的运行效率。

一般而言,大部分的深度学习项目都需要对模型的训练数据进行一定程度的预处理。在这个过程中,各种不同规模和结构的输入数据(例如不同分辨率的图片数据)将被裁剪成相同的维度和尺寸,然后被压入栈,等待模型训练阶段的批处理流程。这一步骤之所以至关重要,是因为它使得 TensorFlow 等高性能的深度学习框架可以并行地针对不同的输入数据运行同一个计算图,加上当前的 GPU 和多核 CPU 普遍支持的 SIMD(Single Instruction Multiple Data,单指令多数据流) 等加速技术,大大提升了深度学习模型的运算速度。

然而,依然存在诸多问题域无法进行一般的预处理,因此模型必须针对不同的输入数据建立不同的计算图。例如自然语言理解中的解析树(parse trees),源代码中的抽象语法树(abstract syntax trees)以及网页中的 DOM 树等等。在这些问题中,不同的输入数据具有不同的计算图,而且这些计算图并不能划分到同一个批处理流程中,因而也就无法实现对处理器、内存和高速缓存的最高效利用。

谷歌此次发布的 TensorFlow Fold 完美解决了这一问题。按照谷歌官方博客的介绍,TensorFlow Fold 库会根据每个不同的输入数据建立单独的计算图,因为各个输入数据都可能具有各自不同的规模和结构,因此计算图也应该各不相同。此后,动态批处理功能将自动组合这些计算图,以实现在输入数据内部和不同输入数据之间的批处理操作,同时还可以通过插入一些附加指令来实现不同批处理操作之间的数据互通。更重要的是,相比于其他实现,TensorFlow Fold 将 CPU 的速度提高了 10 倍以上,GPU 的速度提高了 100 倍。

更全面的原理介绍详见《DEEP LEARNING WITH DYNAMIC COMPUTATION GRAPHS》,论文链接如下: https://openreview.net/pdf?id=ryrGawqex

上图的动画展示了一个利用动态批处理运行的递归神经网络。相同颜色的操作被划分到同一次批处理中,这使得 TensorFlow 能够更高效地运行。其中Embed操作负责将单词转换为向量表示,FC(完全连接,Fully Connected)操作负责将单词向量组合为短语的向量。该网络最后的输出是一个完整句子的向量表示。虽然这里只展示了一个针对单一语句的解析树,但实际上该网络可以在任意形状和大小的多个解析树上并行地进行动态批处理。

目前,谷歌已经在 Github 平台开源了 TensorFlow Fold 库的源代码。需要注意的是,目前 TensorFlow Fold 只在 Linux 平台进行了测试,而且由于API接口的变化,TensorFlow Fold 目前也只适配了 TensorFlow 1.0 。另外,TensorFlow Fold 兼容 Python 2.7 和 3.3+ 版本。详细的安装和文档说明请见 Github 页面: https://github.com/tensorflow/fold

Via Googleblog锋网雷锋网

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-02-08

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏软件开发 -- 分享 互助 成长

经典算法学习之动态规划

动态规划方法通常用来求解最优化问题。 适合使用动态规划求解最优化问题应具备的两个要素: 1、最优子结构:如果一个问题的最优解包含子问题的最优解,那么该问题就具有...

17510
来自专栏CSDN技术头条

递归神经网络不可思议的有效性

递归神经网络(RNNs)有一些不可思议的地方。我仍然记得我训练的第一个用于图片字幕的递归网络。从花几十分钟训练我的第一个婴儿模型(相当随意挑选的超参数)开始,到...

1939
来自专栏人工智能

ML工作流程(第4部分) - 完整性检查和数据分割

我们现在比特征提取领先一步,并且提取给定的原始数据的统计上重要的(协变量)表示。在特征提取之后,我们需要做的第一件事就是检查新的表示的值。通常,人们会认为这是浪...

2020
来自专栏QQ大数据团队的专栏

神盾推荐——离线算法平台

5455
来自专栏机器之心

教程 | 如何理解KL散度的不对称性

机器之心原创 作者:邱陆陆 众所周知,多被用于量化分布间的差异的 KL 散度是不对称的。今天我们来聊一聊,两个分布的一对 KL 散度之间究竟有什么不同。 为了讨...

3526
来自专栏AI研习社

如何用 TensorFlow 实现基于 LSTM 的文本分类(附源码)

引言 学习一段时间的tensor flow之后,想找个项目试试手,然后想起了之前在看Theano教程中的一个文本分类的实例,这个星期就用tensorflow...

4777
来自专栏AI研习社

阿里将 TVM 融入 TensorFlow,在 GPU 上实现全面提速

AI 研习社按,日前,阿里机器翻译团队和 PAI 团队发表博文,阐述将 TVM 引入 TensorFlow,可以带来至少 13 倍的 batch 矩阵相乘(ma...

1082
来自专栏磐创AI技术团队的专栏

使用scikit-learn解决文本多分类问题(附python演练)

在我们的商业世界中,存在着许多需要对文本进行分类的情况。例如,新闻报道通常按主题进行组织; 内容或产品通常需要按类别打上标签; 根据用户在线上谈论产品或品牌时的...

1113
来自专栏媒矿工厂

HDR关键技术:HEVC/H.265编码方案

前文我们对HEVC的HDR编码优化技术做了介绍,侧重编码性能的提升。本章主要阐述HEVC中HDR/WCG相关的整体编码方案,包括不同应用场景下的HEVC扩展编码...

1280
来自专栏人工智能头条

递归神经网络不可思议的有效性(上)

1874

扫码关注云+社区