开发 | 谷歌推出开源 Python 库“Tangent”,支持前向模式自动微分

AI科技评论消息:日前,Google Research Blog 推出开源 Python库“Tangent”。据介绍,这个库与现有的机器学习库相比,存在诸多优势,可以大大改善了用户的使用体验。

AI科技评论编译整理如下:

Tangent 是一个全新的免费开源 Python 库,可以用于自动微分。与其他现有的机器学习库相比,Tangent属于源到源(source-to-source)系统,可以用 Python f 函数调用新的 Python 函数,计算出 f 的梯度。对用户来说,这大大改善了梯度计算的可见性,更易于编辑和调试。当调试和设计机器学习模型时,Tangent 增加了许多新功能:

  • 易于调试反向传递(backward pass)
  • 快速进行梯度surgery
  • 前向模式自动微分
  • 高效的Hessian-vector product
  • 代码优化

本文概述了Tangent API接口,包括如何使用Tangent 来生成易于解释、调试和修改的Python梯度代码。

在图像、视频、音频和文本机器学习模型中,神经网络(NNs)的出现带来了巨大的进步。其实在这些任务中,训练神经网络的基本概念已经存在30年了,我们通常称之为反向模式自动微分(reverse-mode automatic differentiation)或者反向传播(backpropagation)。它包括在神经网络中的两次传递:首先运行“前向传递(forward pass)”来计算每个节点的输出值,然后再运行“反向传递”来计算一系列的导数,从而确定如何更新权重,以提高模型的准确度。

在训练神经网络、研究新的架构的过程中,我们要能正确、高效、轻松地计算出导数值。此外,当模型还没训练好或者想要构建一些连自己都不太理解的新东西时,也要能够调试这些导数。自动微分也称为“autodiff”,是一种计算电脑程序导数(数学上的函数)的技术,几乎所有的机器学习库都会用到它。

现有的库通过跟踪程序的执行过程来实现自动微分(如 TF Eager, PyTorch 和 Autograd),或者通过构建动态数据流图来进行微分(如 TensorFlow)。与此相反, Tangent 可以通过 Python 源代码提前自动微分,还可以生成Python源代码作为输出。

因此,你最终能像读取程序的剩余部分一样读取自动微分代码。对那些既想用 Python 编写模型,又想在读取和调试自动微分代码时不牺牲速度和灵活性的研究人员和学生来说,Tangent 非常有用。

在Tangent 中构建模型不需要特殊的工具或间接方法,非常易于检查和调试。Tangent 基于一个非常大并且正在增长的 Python 子集,能支持其他 Python 深度学习库所不具备的自动微分特性,性能高效,并能与 TensorFlow 和 NumPy 兼容。

Python代码自动微分

如何自动生成Python代码的导数? 像 tf.exp 和 tf.log 这些数学函数已经含有能帮助我们建立反向传递的导数了,同样,子程序、条件和循环等句段也具有反向传递版本。Tangent 支持为每个 Python 句法生成导数代码,也能调用许多 NumPy 和 TensorFlow 函数。

Tangent 具备单一功能 API:

下面是一张动图,它描述了调用 tangent.grad 之后执行的操作。

可以运行如下代码输出求导结果:

执行命令后,tangent.grad 首先抓取传来的 Python 函数源代码。Tangent 有一个庞大的 Python 句法求导方法库,类似于 TensorFlow Eager 函数。然后,tangent.grad 函数会反向走查代码,查找匹配的反向传递方法,并将其添加到导函数的末尾。这种反序处理过程所用的技术就叫反向模式自动微分(reverse-mode automatic differentiation)。

上面的 df 函数只适用于标量(非数组)输入。Tangent 也支持以下功能:

  • 使用 TensorFlow Eager 函数处理阵列
  • 子程序
  • 控制流

虽然一开始就能利用 TensorFlow Eager,但 Tangent 并没有与数值库相关联,我们也很乐意看到 PyTorch 或 MXNet 求导方法的添加请求。

下一步

Tangent现在已经在github.com/google/tangent开源了,大家可以点击下载,按照说明安装。因为仍在实验阶段,所以难免有一些 bug。如果大家发现了 bug 并在 GitHub 上说明,我们会尽快解决。

我们正从 Python 的多个层面为 Tangent 提供支持(例如闭包、内联函数定义、类、更多的 NumPy 和 TensorFlow 函数)。我们还希望在未来添加更高级的自动微分和编译器功能,比如在内存和计算之间自动平衡(Griewank and Walther 2000;Gruslys et al., 2016)、更高效的优化、lambda lifting等。

我们希望能将Tangent社群发展壮大,欢迎大家踊跃提出修补和新特性的方面的需求。

via:Google Research Blog

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-11-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏我是业余自学C/C++的

线性表——数组描述(Qt5.1测试代码 for windows)

992
来自专栏遊俠扎彪

删除Windows右键新建文件类型

Win+R 运行regedit,效果如下:

2129
来自专栏Golang语言社区

Knapsack problem algorithms for my real-life carry-on knapsack

I'm a nomad and live out of one carry-on bag. This means that the total weight o...

982
来自专栏智能计算时代

IBM Research: WatsonPaths

A new cognitive computing project that enables more natural interaction between ...

2967
来自专栏移动开发面面观

Android引入OpenCV

1753
来自专栏草根专栏

适合在Markdown里面使用的emoji

因为Markdown里面加颜色需要写html style, 所以对于一些标题, 还是用一下emoji吧: RED APPLE (🍎): ? GR...

2654
来自专栏专知

2018年SCI期刊最新影响因子排行,最高244,人工智能TPAMI9.455

2018年6月26日,最新的SCI影响因子正式发布,涵盖1万2千篇期刊。CA-Cancer J Clin 依然拔得头筹,其影响因子今年再创新高,达244.585...

952
来自专栏闵开慧

运行wordcount时显示Could not obtain block

该文章接上面hadoop运行wordcount时卡住不动,接着下面 hadoop@ubuntu118:~/hadoop-1.0.2$ bi...

33714
来自专栏搞前端的李蚊子

Html5模拟通讯录人员排序(sen.js)

// JavaScript Document  var PY_Json_Str = ""; var PY_Str_1 = ""; var PY_Str_...

4986
来自专栏JAVA高级架构

程序员的春节对联集锦

上联:为系统而生,为框架而死,为debug奋斗一辈子! 下联:吃符号的亏,上大小写的当,最后死在需求上! 横批:杯具程序员。 上联:算法数据思路清晰 下联:编译...

2524

扫码关注云+社区