开发 | 谷歌推出开源 Python 库“Tangent”,支持前向模式自动微分

AI科技评论消息:日前,Google Research Blog 推出开源 Python库“Tangent”。据介绍,这个库与现有的机器学习库相比,存在诸多优势,可以大大改善了用户的使用体验。

AI科技评论编译整理如下:

Tangent 是一个全新的免费开源 Python 库,可以用于自动微分。与其他现有的机器学习库相比,Tangent属于源到源(source-to-source)系统,可以用 Python f 函数调用新的 Python 函数,计算出 f 的梯度。对用户来说,这大大改善了梯度计算的可见性,更易于编辑和调试。当调试和设计机器学习模型时,Tangent 增加了许多新功能:

  • 易于调试反向传递(backward pass)
  • 快速进行梯度surgery
  • 前向模式自动微分
  • 高效的Hessian-vector product
  • 代码优化

本文概述了Tangent API接口,包括如何使用Tangent 来生成易于解释、调试和修改的Python梯度代码。

在图像、视频、音频和文本机器学习模型中,神经网络(NNs)的出现带来了巨大的进步。其实在这些任务中,训练神经网络的基本概念已经存在30年了,我们通常称之为反向模式自动微分(reverse-mode automatic differentiation)或者反向传播(backpropagation)。它包括在神经网络中的两次传递:首先运行“前向传递(forward pass)”来计算每个节点的输出值,然后再运行“反向传递”来计算一系列的导数,从而确定如何更新权重,以提高模型的准确度。

在训练神经网络、研究新的架构的过程中,我们要能正确、高效、轻松地计算出导数值。此外,当模型还没训练好或者想要构建一些连自己都不太理解的新东西时,也要能够调试这些导数。自动微分也称为“autodiff”,是一种计算电脑程序导数(数学上的函数)的技术,几乎所有的机器学习库都会用到它。

现有的库通过跟踪程序的执行过程来实现自动微分(如 TF Eager, PyTorch 和 Autograd),或者通过构建动态数据流图来进行微分(如 TensorFlow)。与此相反, Tangent 可以通过 Python 源代码提前自动微分,还可以生成Python源代码作为输出。

因此,你最终能像读取程序的剩余部分一样读取自动微分代码。对那些既想用 Python 编写模型,又想在读取和调试自动微分代码时不牺牲速度和灵活性的研究人员和学生来说,Tangent 非常有用。

在Tangent 中构建模型不需要特殊的工具或间接方法,非常易于检查和调试。Tangent 基于一个非常大并且正在增长的 Python 子集,能支持其他 Python 深度学习库所不具备的自动微分特性,性能高效,并能与 TensorFlow 和 NumPy 兼容。

Python代码自动微分

如何自动生成Python代码的导数? 像 tf.exp 和 tf.log 这些数学函数已经含有能帮助我们建立反向传递的导数了,同样,子程序、条件和循环等句段也具有反向传递版本。Tangent 支持为每个 Python 句法生成导数代码,也能调用许多 NumPy 和 TensorFlow 函数。

Tangent 具备单一功能 API:

下面是一张动图,它描述了调用 tangent.grad 之后执行的操作。

可以运行如下代码输出求导结果:

执行命令后,tangent.grad 首先抓取传来的 Python 函数源代码。Tangent 有一个庞大的 Python 句法求导方法库,类似于 TensorFlow Eager 函数。然后,tangent.grad 函数会反向走查代码,查找匹配的反向传递方法,并将其添加到导函数的末尾。这种反序处理过程所用的技术就叫反向模式自动微分(reverse-mode automatic differentiation)。

上面的 df 函数只适用于标量(非数组)输入。Tangent 也支持以下功能:

  • 使用 TensorFlow Eager 函数处理阵列
  • 子程序
  • 控制流

虽然一开始就能利用 TensorFlow Eager,但 Tangent 并没有与数值库相关联,我们也很乐意看到 PyTorch 或 MXNet 求导方法的添加请求。

下一步

Tangent现在已经在github.com/google/tangent开源了,大家可以点击下载,按照说明安装。因为仍在实验阶段,所以难免有一些 bug。如果大家发现了 bug 并在 GitHub 上说明,我们会尽快解决。

我们正从 Python 的多个层面为 Tangent 提供支持(例如闭包、内联函数定义、类、更多的 NumPy 和 TensorFlow 函数)。我们还希望在未来添加更高级的自动微分和编译器功能,比如在内存和计算之间自动平衡(Griewank and Walther 2000;Gruslys et al., 2016)、更高效的优化、lambda lifting等。

我们希望能将Tangent社群发展壮大,欢迎大家踊跃提出修补和新特性的方面的需求。

via:Google Research Blog

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-11-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

资源 | 谷歌全attention机器翻译模型Transformer的TensorFlow实现

选自GitHub 机器之心编译 参与:黄小天、Smith 谷歌前不久在 arXiv 上发表论文《Attention Is All You Need》,提出一种完...

42111
来自专栏jeremy的技术点滴

tensorflow学习笔记_01

2977
来自专栏CSDN技术头条

利用GPU和Caffe训练神经网络

本文为利用GPU和Caffe训练神经网络的实战教程,介绍了根据Kaggle的“奥托集团产品分类挑战赛”的数据进行训练一种多层前馈网络模型的方法,如何将模型应用于...

20010
来自专栏机器之心

入门 | 完全云端运行:使用谷歌CoLaboratory训练神经网络

3239
来自专栏漫漫深度学习路

tensorflow学习笔记(三十二):conv2d_transpose ("解卷积")

deconv解卷积,实际是叫做conv_transpose, conv_transpose实际是卷积的一个逆向过程,tf 中, 编写conv_transpose...

6049
来自专栏大数据文摘

手把手 | 如何用Python做自动化特征工程

机器学习的模型训练越来越自动化,但特征工程还是一个漫长的手动过程,依赖于专业的领域知识,直觉和数据处理。而特征选取恰恰是机器学习重要的先期步骤,虽然不如模型训练...

1181
来自专栏大数据挖掘DT机器学习

13个Tensorflow实践案例,教你入门到进阶

关于深度学习,每个人都有自己的看法。有人说就是炼丹,得个准确率召回率什么的,拿到实际中,问问为什么,都答不上来。各种连代码都没写过的人,也纷纷表示这东西就是小孩...

42715
来自专栏人工智能头条

TensorFlow 发布新版本v1.9(附应用实践教程)

【人工智能头条导读】TensorFlow 是一个开放源代码软件库,用于进行高性能数值计算。借助灵活的架构,用户可以轻松地将计算工作部署到多种平台(CPU、GPU...

623
来自专栏信数据得永生

《Scikit-Learn与TensorFlow机器学习实用指南》第2章 一个完整的机器学习项目

96518
来自专栏蜉蝣禅修之道

打造第一个自训练模型的Core ML应用

苹果人工智能生态系统正逐渐形成,今天我们就借着一个简单的Core ML应用简单窥探一下。

2299

扫码关注云+社区