业界 | 谷歌开源「Tangent」:一个用于自动微分的源到源Python库(附API概述)

近日,谷歌在其官方博客上开源了「Tangent」,一个用于自动微分的源到源 Python 库;它通过 Python 函数 f 生成新函数,来计算 f 的梯度,从而实现更好的梯度计算可视化,帮助用户更容易地编辑和调试梯度;本文还扼要概述了 Tangent API,包括如何使用 Tangent 在 Python 中生成易于理解、调试和修改的梯度代码。

Tangent 是一个免费、开源的新 Python 库,用于自动微分。和目前已有的机器学习库不同,Tangent 是一个源到源(source-to-source)的系统,利用 Python 函数 f 生成一个新的 Python 函数,来计算 f 的梯度。这为用户提供了更好的梯度计算可视化,使用户可以容易地对梯度进行编辑和调试。Tangent 在调试和设计机器学习模型上有如下特征:

  • 易于调试反向传播过程
  • 快速编辑和调试梯度
  • 正向模式(Forward mode)自动微分
  • 高效的 Hessian 向量内积(Hessian-vector products)
  • 代码优化

本文对 Tangent API 进行了概述,包括如何使用 Tangent 在 Python 中生成易于理解、调试和修改的梯度代码。

神经网络(NN)使机器学习模型处理图像、视频、音频和文本的能力出现巨大进步。训练神经网络在这些任务上获得高性能的基本抽象概念是一个有着 30 年历史的思想——「反向模式自动微分」(也叫做反向传播),它由神经网络中的两个传播过程组成:首先运行「前向传播」计算每一个节点的输出,然后运行「反向传播」计算一系列导数以决定权重的更新率,从而提高模型的准确性。

训练神经网络和在新型架构上做研究需要准确、高效和简易地计算这些导数。当模型训练结果不好时,或者尝试建立一些尚未理解的东西时,调试这些导数的能力非常必要。自动微分,或简称为「autodiff」,是一种计算表征一些数学函数的计算机程序的导数的技术,并可以在几乎所有的机器学习库中实现。

目前已有的库通过追踪程序的执行(在运行时,比如 TF Eager、PyTorch 和 Autograd)或建立动态数据流图然后对图微分(预编,比如 TensorFlow),实现自动微分。与之相反,Tangent 能自主在 Python 源代码上进行预编的自动微分,并生成 Python 源代码作为其输出。

因此,你可以把自动微分代码当做程序的余下部分进行阅读。对于那些不仅想在 Python 编写模型,还希望在不牺牲速度和灵活性的前提下阅读和调试自动生成导数的代码的研究者和学生,Tangent 是很有用的。

用 Tangent 编写的模型易于检查和调试,而不需要特殊的工具或间接的方式。Tangent 能提供其它 Python 机器学习库没有的额外自动微分的特征,具有强大的性能,并和 TensorFlow 以及 Numpy 兼容。

Python 代码的自动微分

我们如何自动生成纯 Python 代码的导数?数学函数比如 tf.exp 或 tf.log 含有可以用来构建反向传播的导数。相似地,句法片段(比如子程序、条件和循环)也有反向传播版本。Tangent 有办法为每个 Python 句法片段生成生成导数代码,同时调用很多的 NumPy 和 TensorFlow 函数。

Tangent 有一个单一函数 API:

下面的动图展示了如何一个 Python 函数上调用 tangent.grad:

如果你想要打印出导数,你可以运行:

在 hood 之下,tangent.grad 首先抓取你传递给它的 Python 函数源代码。Tangent 有一个 Python 句法导数和 TensorFlow Eager 函数的大型方法库。tangent.grad 函数逆序运行你的代码,查找匹配的反向传播方法,并将其添加到导数函数的尾部。这一逆序处理技术被称之为反向模式自动微分(reverse-mode automatic differentiation)。

df 函数只适用于标量(非数组)输入。Tangent 同样支持

  • 使用 TensorFlow Eager 函数处理数字数组
  • 子程序
  • 控制流

尽管我们从 TensorFlow Eager 支持开始,Tangent 并没有受限于任何数字库,我们非常欢迎添加 PyTorch 或 MXNet 导数方法的请求。

下一步

Tangent 现在是开源的(github.com/google/tangent),但仍处于试验阶段,难免存在一些 bug,如果你能在 GitHub 上指出,我们将很快修复。

我们正致力于在 Tangent 支持 Python 语言的更多属性(比如闭包、内嵌函数定义、类、更多的 Numpy 和 TensorFlow 函数),同样计划在未来添加更多高级的自动微分和编译功能,比如内存与计算之间的自动博弈,更主动的优化以及λ升降。最后,我们非常期望能与社区一起开发 Tangent。

原文链接:https://research.googleblog.com/2017/11/tangent-source-to-source-debuggable.html

原文发布于微信公众号 - IT派(it_pai)

原文发表时间:2017-11-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

大数据竞赛平台-Kaggle入门篇

本文作者: wopon_ 来源:36大数据 本文长度为1500字,建议阅读4分钟 这篇文章适合那些刚接触Kaggle、想尽快熟悉Kaggle并且独立完成一个竞赛...

48580
来自专栏AI科技评论

开发 | Facebook开源 PyTorch版 fairseq,准确性最高、速度比循环神经网络快9倍

AI科技评论按:今年5月,FacebookAI研究院(FAIR)发表了他们的研究成果fairseq,在fairseq中,他们使用了一种新型的卷积神经网络来做语言...

37090
来自专栏月色的自留地

从锅炉工到AI专家(8)

273130
来自专栏AI科技大本营的专栏

无人驾驶汽车系统入门:基于深度学习的实时激光雷达点云目标检测及ROS实现

近年来,随着深度学习在图像视觉领域的发展,一类基于单纯的深度学习模型的点云目标检测方法被提出和应用,本文将详细介绍其中一种模型——SqueezeSeg,并且使用...

28710
来自专栏程序你好

使用ML.Net和CSharp语言进行机器学习

本文介绍.net中的机器学习技术实现,不涉及数学方面的内容。它将重点关注在.net中的基本工作流程及其数据处理结构,以及怎么样通过使用开源项目ML.Net 0....

67830
来自专栏about云

TensorFlow ML cookbook 第一章7、8节 实现激活功能和使用数据源

问题导读: 1、TensorFlow中有哪些激活函数? 2、如何运行激活函数? 3、TensorFlow有哪些数据源? 4、如何获得及使用数据源? 上...

51180
来自专栏机器学习算法工程师

深度学习必备---用Keras和直方图均衡化---数据增强

作者:王抒伟 编辑:王抒伟 算了 爱看多久看多久 在读这技术文章之前,请大家想象一个标准河南口音的娃在读这篇文章,那么你不知不觉,你的嘴角就上扬咯。 俺、...

2.1K40
来自专栏从流域到海域

A Gentle Introduction to Autocorrelation and Partial Autocorrelation (译文)

A Gentle Introduction to Autocorrelation and Partial Autocorrelation 自相关和偏自相关的简单...

31260
来自专栏玉树芝兰

如何用 Python 和循环神经网络(RNN)做中文文本分类?

本文为你展示,如何使用 fasttext 词嵌入预训练模型和循环神经网络(RNN), 在 Keras 深度学习框架上对中文评论信息进行情感分类。

25640
来自专栏奇点大数据

阿里巴巴最新实践:TVM+TensorFlow优化GPU上的神经机器翻译

本文是阿里巴巴 PAI-Blade 团队发表于 TVM 的最新博文,文中阐述了如何将 TVM 引入 TensorFlow,使 TensorFlow 中的 bat...

56750

扫码关注云+社区

领取腾讯云代金券