谷歌推出Tangent开源库,在Python源代码上做自动微分

李林 编译自 Google Research Blog 量子位 出品 | 公众号 QbitAI

谷歌今天推出了一个新的开源Python自动微分库:Tangent。

和现有的机器学习库不同,Tangent是一个源代码到源代码的系统,使用Python函数f,并用一个新的Python函数来计算f的梯度。这能帮用户更好地看清梯度计算,并更简单地对梯度进行用户级编辑和调试。

此外,Tangent还有更多调试和设计机器学习模型的功能:

  • 轻松调试反向传递过程(backward pass)
  • 快速的gradient surgery
  • 正向模式自动微分
  • 高校的Hessian向量积
  • 代码优化

本文简要介绍了Tangent API,包括如何用它在Python中生成易于理解、调试和修改的梯度代码。

神经网络为机器学习带来了巨大的进步,而我们训练神经网络来完成各类任务的基本思想已经存在30年了,它就是反向模式自动微分(reverse-mode automatic differentiation),也就是我们常说的反向传播(backpropagation)。反向传播的过程包含两次通过神经网络:首先是运行“正向传递”来计算每个节点的输出值,然后再运行“反向传递”计算一系列导数,来确定如何更新权重以提高模型准确性。

训练神经网络、研究新架构,就需要我们正确、高效、方便地计算这些导数。当模型训练不好时,或者尝试构建我们不了解的新东西时,也需要能调试这些导数。自动微分(简称autodiff)就能够计算里表示某些数学函数的计算机程序的导数,而且几乎所有机器学习库都能实现它。

现有的机器学习库通过跟踪程序的执行(在运行时,比如TensorFlow Eager、PyTorch、Autograd),或者构建动态数据流图然后微分它(提前,比如TensorFlow)来实现自动微分。

Tangent采用了与它们都不同的方式,在Python源代码上提前执行自动微分,并生成Python源代码作为输出。

于是,你可以像读取程序其他部分一样,来读取自动导数代码。

对于那些不仅想用Python来写模型,还想在不牺牲速度和灵活性的情况下来读取、调试自动生成的导数代码的研究人员和学生来说,Tangent非常有用。

检查和调试Tangent模型不需要特殊的工具,Tangent可以在Python庞大又不断增长的子集上工作,为其他Python机器学习库提供它们所没有的自动微分特性。它性能高,且与TensorFlow、NumPy兼容。

怎样自动为Python代码生成导数呢?

像tf.exp或tf.log这样的数学函数具有导数,我们可以编写出来构建反向传递,子例程、条件、循环等语法片段也同样具有反向传递版本。Tangent能为任何Python语法、以及很多Numpy和TensorFlow函数调用生成导数代码。

Tangent有一个单一功能API:

下面的动图展示了当我们在Python函数上调用tangent.grad时会发生什么:

如果你想列出自己的导数,可以运行:

对于Python语法的导数和TensorFlow Eager函数,Tangent有一个巨大的recipe库。tangent.grad会抓取你传递给它的Python函数源代码,然后反向遍历它,从自己的库中查找匹配的反向传递recipe,并把它加到导数函数的末尾。

这项技术的名字——反向模式自动微分——就来源于这种逆向处理。

上面的函数df只适用于张量(非数组)输入。Tangent也支持:

  • 用TensorFlow Eager函数来处理数组
  • 子例程
  • 控制流

谷歌在博客文章中强调,虽然Tangent从支持TensorFlow Eager开始,但它并不和某一个库绑定,他们也愿意接受添加PyTorch或者MXNet导数recipe的请求。

最后,附上Tangent开源项目地址,内有下载和安装说明: http://github.com/google/tangent

博客原文: https://research.googleblog.com/2017/11/tangent-source-to-source-debuggable.html

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2017-11-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ATYUN订阅号

ImageAI:专为没有机器学习背景的程序员设计,让你十行代码搞定对象检测

计算机视觉是AI的一个重要领域。计算机视觉是计算机和软件系统的科学,能够识别和理解图像和场景。计算机视觉还包括图像识别,对象检测,图像生成,图像超分辨率等多个方...

13340
来自专栏一心无二用,本人只专注于基础图像算法的实现与优化。

PhotoShop算法原理解析系列 - 风格化---》查找边缘。                  闲谈.Net类型之public的不public,fixed的不能fixed     当然这个还可

      之所以不写系列文章一、系列文章二这样的标题,是因为我不知道我能坚持多久。我知道我对事情的表达能力和语言的丰富性方面的天赋不高。而一段代码需要我去用心...

31990
来自专栏iOSDevLog

quickdraw_datasetQuick Draw!数据集

https://console.cloud.google.com/storage/browser/quickdraw_dataset

53420
来自专栏机器之心

教程 | PyTorch经验指南:技巧与陷阱

项目地址:https://github.com/Kaixhin/grokking-pytorch

53620
来自专栏人工智能LeadAI

Keras同时用多张显卡训练网络

References 官方文档:multi_gpu_model(https://keras.io/utils/#multi_gpu_model)以及Google...

75080
来自专栏AI研习社

Github 推荐项目 | GloVe 的快速实现 —— Mittens

该软件包包含 GloVe 和 Mittens 的快速 TensorFlow 和 NumPy 实现。

23730
来自专栏机器之心

教程 | 在Cloud ML Engine的TPU上从头训练ResNet

张量处理单元(TPU)是能够大大加快深度学习模型训练速度的硬件加速器。在斯坦福大学进行的独立测试中,在 TPU 上训练的 ResNet-50 模型能够在 Ima...

19420
来自专栏大数据挖掘DT机器学习

R语言关联规则可视化:扩展包arulesViz的介绍

关联规则挖掘是一种流行的数据挖掘方法,在R语言中为扩展包arules。然而,挖掘关联规则往往导致非常多的规则,使分析师需要通过查询所有的规则才能发现有趣的规则。...

62380
来自专栏顶级程序员

Caffe源码直播

0.预告 开源项目名称:Caffe—— deep learning framework 语言:C++ 时间:10月22日(周六)早11:00-12:00 参与方...

50890
来自专栏企鹅号快讯

使用机器学习预测天气

作者:笨熊 本章是使用机器学习预测天气系列教程的第一部分,使用Python和机器学习来构建模型,根据从Weather Underground收集的数据来预测天气...

47250

扫码关注云+社区

领取腾讯云代金券