业界 | 谷歌开源「Tangent」:一个用于自动微分的源到源Python库(附API概述)

选自Google Research Blog

机器之心编译

参与:黄小天、刘晓坤

近日,谷歌在其官方博客上开源了「Tangent」,一个用于自动微分的源到源 Python 库;它通过 Python 函数 f 生成新函数,来计算 f 的梯度,从而实现更好的梯度计算可视化,帮助用户更容易地编辑和调试梯度;本文还扼要概述了 Tangent API,包括如何使用 Tangent 在 Python 中生成易于理解、调试和修改的梯度代码。

Tangent 是一个免费、开源的新 Python 库,用于自动微分。和目前已有的机器学习库不同,Tangent 是一个源到源(source-to-source)的系统,利用 Python 函数 f 生成一个新的 Python 函数,来计算 f 的梯度。这为用户提供了更好的梯度计算可视化,使用户可以容易地对梯度进行编辑和调试。Tangent 在调试和设计机器学习模型上有如下特征:

  • 易于调试反向传播过程
  • 快速编辑和调试梯度
  • 正向模式(Forward mode)自动微分
  • 高效的 Hessian 向量内积(Hessian-vector products)
  • 代码优化

本文对 Tangent API 进行了概述,包括如何使用 Tangent 在 Python 中生成易于理解、调试和修改的梯度代码。

神经网络(NN)使机器学习模型处理图像、视频、音频和文本的能力出现巨大进步。训练神经网络在这些任务上获得高性能的基本抽象概念是一个有着 30 年历史的思想——「反向模式自动微分」(也叫做反向传播),它由神经网络中的两个传播过程组成:首先运行「前向传播」计算每一个节点的输出,然后运行「反向传播」计算一系列导数以决定权重的更新率,从而提高模型的准确性。

训练神经网络和在新型架构上做研究需要准确、高效和简易地计算这些导数。当模型训练结果不好时,或者尝试建立一些尚未理解的东西时,调试这些导数的能力非常必要。自动微分,或简称为「autodiff」,是一种计算表征一些数学函数的计算机程序的导数的技术,并可以在几乎所有的机器学习库中实现。

目前已有的库通过追踪程序的执行(在运行时,比如 TF Eager、PyTorch 和 Autograd)或建立动态数据流图然后对图微分(预编,比如 TensorFlow),实现自动微分。与之相反,Tangent 能自主在 Python 源代码上进行预编的自动微分,并生成 Python 源代码作为其输出。

因此,你可以把自动微分代码当做程序的余下部分进行阅读。对于那些不仅想在 Python 编写模型,还希望在不牺牲速度和灵活性的前提下阅读和调试自动生成导数的代码的研究者和学生,Tangent 是很有用的。

用 Tangent 编写的模型易于检查和调试,而不需要特殊的工具或间接的方式。Tangent 能提供其它 Python 机器学习库没有的额外自动微分的特征,具有强大的性能,并和 TensorFlow 以及 Numpy 兼容。

Python 代码的自动微分

我们如何自动生成纯 Python 代码的导数?数学函数比如 tf.exp 或 tf.log 含有可以用来构建反向传播的导数。相似地,句法片段(比如子程序、条件和循环)也有反向传播版本。Tangent 有办法为每个 Python 句法片段生成生成导数代码,同时调用很多的 NumPy 和 TensorFlow 函数。

Tangent 有一个单一函数 API:

下面的动图展示了如何一个 Python 函数上调用 tangent.grad:

如果你想要打印出导数,你可以运行:

在 hood 之下,tangent.grad 首先抓取你传递给它的 Python 函数源代码。Tangent 有一个 Python 句法导数和 TensorFlow Eager 函数的大型方法库。tangent.grad 函数逆序运行你的代码,查找匹配的反向传播方法,并将其添加到导数函数的尾部。这一逆序处理技术被称之为反向模式自动微分(reverse-mode automatic differentiation)。

df 函数只适用于标量(非数组)输入。Tangent 同样支持

  • 使用 TensorFlow Eager 函数处理数字数组
  • 子程序
  • 控制流

尽管我们从 TensorFlow Eager 支持开始,Tangent 并没有受限于任何数字库,我们非常欢迎添加 PyTorch 或 MXNet 导数方法的请求。

下一步

Tangent 现在是开源的(github.com/google/tangent),但仍处于试验阶段,难免存在一些 bug,如果你能在 GitHub 上指出,我们将很快修复。

我们正致力于在 Tangent 支持 Python 语言的更多属性(比如闭包、内嵌函数定义、类、更多的 Numpy 和 TensorFlow 函数),同样计划在未来添加更多高级的自动微分和编译功能,比如内存与计算之间的自动博弈,更主动的优化以及λ升降。最后,我们非常期望能与社区一起开发 Tangent。

原文链接:https://research.googleblog.com/2017/11/tangent-source-to-source-debuggable.html

本文为机器之心编译,转载请联系本公众号获得授权。

原文发布于微信公众号 - 机器之心(almosthuman2014)

原文发表时间:2017-11-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏SeanCheney的专栏

《Scikit-Learn与TensorFlow机器学习实用指南》 第2章 一个完整的机器学习项目使用真实数据项目概览获取数据数据探索和可视化、发现规律为机器学习算法准备数据选择并训练模型模型微调启动

本章中,你会假装作为被一家地产公司刚刚雇佣的数据科学家,完整地学习一个案例项目。下面是主要步骤: 项目概述。 获取数据。 发现并可视化数据,发现规律。 为机器学...

1.3K150
来自专栏大数据挖掘DT机器学习

13个Tensorflow实践案例,教你入门到进阶

关于深度学习,每个人都有自己的看法。有人说就是炼丹,得个准确率召回率什么的,拿到实际中,问问为什么,都答不上来。各种连代码都没写过的人,也纷纷表示这东西就是小孩...

553150
来自专栏信数据得永生

《Scikit-Learn与TensorFlow机器学习实用指南》第2章 一个完整的机器学习项目

1.2K200
来自专栏jeremy的技术点滴

tensorflow学习笔记_01

31770
来自专栏ATYUN订阅号

使用Google的Quickdraw创建MNIST样式数据集!

对于那些运行深度学习模型的人来说,MNIST是无处不在的。手写数字的数据集有许多用途,从基准测试的算法(在数千篇论文中引用)到可视化,比拿破仑的1812年进军更...

45580
来自专栏漫漫深度学习路

tensorflow学习笔记(三十二):conv2d_transpose ("解卷积")

deconv解卷积,实际是叫做conv_transpose, conv_transpose实际是卷积的一个逆向过程,tf 中, 编写conv_transpose...

82590
来自专栏AI科技大本营的专栏

课程 |《深度学习原理与TensorFlow实践》学习笔记(二)

作者 | 王清 TensorFlow基础使用 环境准备 TensorFlow安装 常用Python库介绍 实例解析 Kaggle平台及Titanic题目介绍 代...

41580
来自专栏机器之心

资源 | 谷歌全attention机器翻译模型Transformer的TensorFlow实现

选自GitHub 机器之心编译 参与:黄小天、Smith 谷歌前不久在 arXiv 上发表论文《Attention Is All You Need》,提出一种完...

556110
来自专栏AI研习社

谷歌推出开源 Python 库“Tangent”,支持前向模式自动微分

日前,Google Research Blog 推出开源 Python 库“Tangent”。据介绍,这个库与现有的机器学习库相比,存在诸多优势,可以大大改善了...

38250
来自专栏BestSDK

13个Tensorflow实践案例,深度学习没有想象中那么难

关于深度学习,每个人都有自己的看法。有人说就是炼丹,得个准确率召回率什么的,拿到实际中,问问为什么,都答不上来。各种连代码都没写过的人,也纷纷表示这东西就是小孩...

558100

扫码关注云+社区

领取腾讯云代金券