重磅消息 | 深度学习框架竞争激烈 TensorFlow也支持动态计算图

今晨 Google 官方发布消息,称 TensorFlow 支持动态计算图。

原文如下:

在大部分的机器学习中,用来训练和分析的数据需要经过一个预处理过程,输入的大量内容(例如图像)需要先缩放到相同的维度并分批堆栈。这使得像TensorFlow 这样的高性能深度学习程序库对所有分批堆栈的输入内容运行相同的运算图谱。批处理能力需要现代 GPU 的单指令多数据(SIMD)运算能力和多核 CPU 进行加速。然而,当输入数据的大小和结构不同时,则会出现很多问题领域,例如自然语言理解中的解析树、源代码中的抽象语法树、网页中的文档对象模型(DOM)树等等。在这些案例中,不同的输入有着不同的运算图谱,并不能直接进行批处理,结果则是处理器、内存和缓存利用率不佳。

现在,我们公开了 TensorFlow 文件包以解决这些问题。TensorFlow 文件包使得执行处理不同大小和结构数据的深度学习模型更为简单。此外,TensorFlow 文件包也为相应模型的批处理提供了优化,相比原有的执行模式,CPU 运算速度提高超过10倍,GPU 超过100倍。这是运用我们的文档“运用动态运算图谱的深度学习”中介绍的动态批处理实现的(Deep Learning with Dynamic Computation Graphs,https://openreview.net/pdf?id=ryrGawqex)。

这是使用动态批处理的递归神经网络运行的示意图。相同颜色的操作共同进行批处理,从而加速 TensorFlow 的运行。嵌入操作将词汇变成矢量形式。完全连接(FC)操作将词汇矢量变成短语矢量。这个网络输出的内容是整个句子的矢量形式。尽管示意图中只展示一个句子的解析树,相同的网络可以运行及批处理任意结构和大小的其它解析树。

TensorFlow 文件包将会首先为每个输入创建单独的运算图谱。因为不同的输入可能会有不同的大小和结构,运算图谱可能也是如此。接下来动态批处理将会自动将这些图谱进行组合从而发挥批处理在输入内和输入间的优势,并插入单独的指令在批处理操作之间移动数据(参见技术细节文档,https://openreview.net/pdf?id=ryrGawqex)。

想要了解更多,请访问我们的 Github 站点(https://github.com/tensorflow/fold)。我们希望 TensorFlow 文件包会帮助研究者和从业人员运用 TensorFlow 中的动态运算图谱实现神经网络。

本文由软件工程师 Moshe Looks, Marcello HerreshoffDeLesley Hutchins 发布。

本文由 AI100 编译,转载需得到本公众号同意。


编译:AI100

原文链接:https://research.googleblog.com/2017/02/announcing-tensorflow-fold-deep.html


原文发布于微信公众号 - AI科技大本营(rgznai100)

原文发表时间:2017-02-08

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ATYUN订阅号

将Keras权值保存为动画视频,更好地了解模型是如何学习的

将Keras权值矩阵保存为简短的动画视频,从而更好地理解你的神经网络模型是如何学习的。下面是第一个LSTM层的例子,以及一个经过一个学习周期训练的6级RNN模型...

3674
来自专栏AI研习社

Github 项目推荐 | ANSI C 的简单神经网络库

Genann是一个经过精心测试的库,用于在 C 中训练和使用前馈人工神经网络(ANN)。它的主要特点是简单、快速、可靠和可魔改(hackable),它只需要提供...

841

bigML中提升树模型的6个步骤

BigML将提升树模型(Boosted Trees)带入我们日益增长的监督式学习技术套件中。Boosting是一个变体,旨在减少偏见,可能会导致比Bagging...

3850
来自专栏量化投资与机器学习

深度学习项目

Github上比较受欢迎的深度学习项目(Top Deep Learning Projects),按照获得星星个数的排名,包括一些教程项目等。 ? ? ? ?

2026
来自专栏机器之心

资源 | 基于TensorFlow和Sonnet,DeepMind开源可微神经计算机实现包

选自Github 机器之心编译 参与:蒋思源 去年 DeepMind 在自然期刊上曾介绍过一种记忆增强式的神经网络形式-可微神经计算机。而近日,DeepMin...

2923
来自专栏大数据智能实战

DrQA实践

2017年七月份Facebook开源了其开放域问答系统DrQA的代码。关于DrQA,还有一篇2017年发表在ACL上的论文《Reading Wikipedi...

3175
来自专栏AI研习社

Github 项目推荐 | 用 JavaScript 实现的神经网络 —— brain.js

不过,一般的开发者应该都不会用神经网络来实现异或的功能吧,所以这里有一个更加实际的例子:训练一个神经网络来识别颜色对比 https://brain.js.org...

1622
来自专栏机器之心

开源 | 深度安卓恶意软件检测系统:用卷积神经网络保护你的手机

选自GitHub 机器之心编译 参与:Panda 恶意软件可以说是我们现代生活的一大威胁,为了保护我们电子设备中的财产和资料安全,我们往往需要寻求安全软件的帮助...

2977
来自专栏ATYUN订阅号

C-SATS工程副总裁教你如何用TensorFlow分类图像 part1

最近在深度学习算法和硬件性能方面的最新进展使研究人员和公司在图像识别,语音识别,推荐引擎和机器翻译等领域取得了巨大的进步。六年前,首次机器在视觉模式识别方面的表...

3499
来自专栏CDA数据分析师

谷歌教你学 AI-第四讲部署预测模型

翻译/校对: Mika 本文为 CDA 数据分析师原创作品,转载需授权 Google Cloud发布了名为"AI Adventures"的系列视频,用简单易懂的...

2666

扫码关注云+社区

领取腾讯云代金券