开发 | 谷歌推出开源 Python 库“Tangent”,支持前向模式自动微分

AI科技评论消息:日前,Google Research Blog 推出开源 Python库“Tangent”。据介绍,这个库与现有的机器学习库相比,存在诸多优势,可以大大改善了用户的使用体验。

AI科技评论编译整理如下:

Tangent 是一个全新的免费开源 Python 库,可以用于自动微分。与其他现有的机器学习库相比,Tangent属于源到源(source-to-source)系统,可以用 Python f 函数调用新的 Python 函数,计算出 f 的梯度。对用户来说,这大大改善了梯度计算的可见性,更易于编辑和调试。当调试和设计机器学习模型时,Tangent 增加了许多新功能:

  • 易于调试反向传递(backward pass)
  • 快速进行梯度surgery
  • 前向模式自动微分
  • 高效的Hessian-vector product
  • 代码优化

本文概述了Tangent API接口,包括如何使用Tangent 来生成易于解释、调试和修改的Python梯度代码。

在图像、视频、音频和文本机器学习模型中,神经网络(NNs)的出现带来了巨大的进步。其实在这些任务中,训练神经网络的基本概念已经存在30年了,我们通常称之为反向模式自动微分(reverse-mode automatic differentiation)或者反向传播(backpropagation)。它包括在神经网络中的两次传递:首先运行“前向传递(forward pass)”来计算每个节点的输出值,然后再运行“反向传递”来计算一系列的导数,从而确定如何更新权重,以提高模型的准确度。

在训练神经网络、研究新的架构的过程中,我们要能正确、高效、轻松地计算出导数值。此外,当模型还没训练好或者想要构建一些连自己都不太理解的新东西时,也要能够调试这些导数。自动微分也称为“autodiff”,是一种计算电脑程序导数(数学上的函数)的技术,几乎所有的机器学习库都会用到它。

现有的库通过跟踪程序的执行过程来实现自动微分(如 TF Eager, PyTorch 和 Autograd),或者通过构建动态数据流图来进行微分(如 TensorFlow)。与此相反, Tangent 可以通过 Python 源代码提前自动微分,还可以生成Python源代码作为输出。

因此,你最终能像读取程序的剩余部分一样读取自动微分代码。对那些既想用 Python 编写模型,又想在读取和调试自动微分代码时不牺牲速度和灵活性的研究人员和学生来说,Tangent 非常有用。

在Tangent 中构建模型不需要特殊的工具或间接方法,非常易于检查和调试。Tangent 基于一个非常大并且正在增长的 Python 子集,能支持其他 Python 深度学习库所不具备的自动微分特性,性能高效,并能与 TensorFlow 和 NumPy 兼容。

Python代码自动微分

如何自动生成Python代码的导数? 像 tf.exp 和 tf.log 这些数学函数已经含有能帮助我们建立反向传递的导数了,同样,子程序、条件和循环等句段也具有反向传递版本。Tangent 支持为每个 Python 句法生成导数代码,也能调用许多 NumPy 和 TensorFlow 函数。

Tangent 具备单一功能 API:

下面是一张动图,它描述了调用 tangent.grad 之后执行的操作。

可以运行如下代码输出求导结果:

执行命令后,tangent.grad 首先抓取传来的 Python 函数源代码。Tangent 有一个庞大的 Python 句法求导方法库,类似于 TensorFlow Eager 函数。然后,tangent.grad 函数会反向走查代码,查找匹配的反向传递方法,并将其添加到导函数的末尾。这种反序处理过程所用的技术就叫反向模式自动微分(reverse-mode automatic differentiation)。

上面的 df 函数只适用于标量(非数组)输入。Tangent 也支持以下功能:

  • 使用 TensorFlow Eager 函数处理阵列
  • 子程序
  • 控制流

虽然一开始就能利用 TensorFlow Eager,但 Tangent 并没有与数值库相关联,我们也很乐意看到 PyTorch 或 MXNet 求导方法的添加请求。

下一步

Tangent现在已经在github.com/google/tangent开源了,大家可以点击下载,按照说明安装。因为仍在实验阶段,所以难免有一些 bug。如果大家发现了 bug 并在 GitHub 上说明,我们会尽快解决。

我们正从 Python 的多个层面为 Tangent 提供支持(例如闭包、内联函数定义、类、更多的 NumPy 和 TensorFlow 函数)。我们还希望在未来添加更高级的自动微分和编译器功能,比如在内存和计算之间自动平衡(Griewank and Walther 2000;Gruslys et al., 2016)、更高效的优化、lambda lifting等。

我们希望能将Tangent社群发展壮大,欢迎大家踊跃提出修补和新特性的方面的需求。

via:Google Research Blog

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-11-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PaddlePaddle

【命名实体识别】训练端到端的序列标注模型

导语 PaddlePaddle提供了丰富的运算单元,帮助大家以模块化的方式构建起千变万化的深度学习模型来解决不同的应用问题。这里,我们针对常见的机器学习任务,提...

4728
来自专栏web前端教室

JS原型,a和b是不是失散多年的兄弟?

面试题这种东西真的是反人类的设计,我觉得它的最大的作用就是用来打击我的信心。每当我觉得自己js水平还可以,的时候,它就会在不经意间跳出来,给我一耳光。例如这个,...

1878
来自专栏鸿的学习笔记

写给开发者的机器学习指南(六)

在本节中,我们为您介绍一组在实际环境中的机器学习算法。 这些例子的想法是让你开始使用机器学习算法,而不深入解释底层算法。我们只专注于这些算法的特征方面,如何验证...

702
来自专栏程序生活

空间向量模型和tf-idf向量空间模型tf-idf

向量空间模型 向量空间模型是一个把文本文件表示为标识符(比如索引)向量的代数模型,它应用于信息过滤、信息检索、索引以及相关排序。 1 定义 文档和查询都用向量来...

2963
来自专栏CSDN技术头条

详解 BP 神经网络基本原理及 C 语言实现

BP(Back Propagation)即反向传播,指的是一种按照误差反向传播来训练神经网络的方法。而 BP 神经网络即为一种按照误差反向传播的方法训练的神经网...

834
来自专栏机器之心

教程 | 无需复杂深度学习算法,基于计算机视觉使用Python和OpenCV计算道路交通

4068
来自专栏java思维导图

程序员,请优先提高代码的可读性

现在,当有人提及“优化”一词时,他们通常是指“优化执行时间”,除非他们明确表明要优化GPU的内存消耗,网络流量等等。

684
来自专栏张善友的专栏

依赖注入是否值得?

在博客的世界里进行了一场关于使用依赖注入(DI)之优点和缺点的有趣讨论。论题是:依赖注入是否真的值得? 讨论始自Jacob Proffitt,他撰文解释他的观...

1699
来自专栏机器之心

终于!TensorFlow引入了动态图机制Eager Execution

38311
来自专栏数据科学与人工智能

【知识】使用Python来学习数据科学的完整教程

编者按:Python学习和实践数据科学,Python和Python库能够方便地完成数据获取,数据探索,数据处理,数据建模和模型应用与部署的工作,对于数据科学工作...

3477

扫描关注云+社区