使用 Go 语言学会 Tensorflow

翻译自:Understanding Tensorflow using Go

Tensorflow 并不是一个专门用于机器学习的库,相反的,它是一个通用的用于图计算的库。它的核心部分是用 C++ 实现的,同时还有其它语言的接口库。Go 语言版本的接口库与 Python 版本的并不一样,它不仅有助于我们使用 Go 语言调用 Tensorflow,同时有助于我们了解 Tensorflow 的底层实现。

接口库

Tensorflow 官方发布的代码库包含:

C++ 源代码:Tensorflow 核心功能高层 & 底层操作的代码实现。

Python 接口库 & Python 功能库:接口库是通过 C++ 代码自动生成的,这样我们可以使用 Python 直接调用到 C++ 的方法:numpy 核心代码也是这样实现的。功能库则是对接口库方法的组合调用,它实现了大家所熟知的高层 API 接口。

Java 接口库

Go 接口库

我作为一名 Go 开发者,且不是 Java 爱好者,很自然地选择了使用 Go 版本的接口库,研究它能完成哪些任务。

Go 接口库

首件值得注意的事,正如它的维护者们承认的,就是 Go 接口库缺少对支持:这些接口被设计成用于使用训练好的模型,而不是从零开始训练模型。这在Installing Tensorflow for Go中交待得很清楚。

Tensorflow 提供了 Go 程序接口。这些接口特别适于加载 Python 库所创建的模型,然后在 Go 应用中执行。

如果我们对于训练机器学习模型不那么感兴趣:那就恰好!不过,若你对训练模型感兴趣的话,这里有一点建议:

作为一名真正的 Go 爱好者,应当寻求便宜之道!请使用 Python 来定义和训练模型;之后,你总是能用 Go 来加载并使用它们的。

简言之:Go 接口库可以用来导入并定义常量图;这里说的「常量」是指没有训练过程参与,所以没有可用于训练的变量。

让我们立刻开始用 Go 来调用 Tensorflow:创建我们的第一个应用程序。

接下来,我假设你们已经安装了 Go 环境,并且已经按照README编译并安装了 Tensorflow 的接口库。

理解 Tensorflow 的数据结构

我要在这里重申一下 Tensorflow 的定义(我为大家从Tensorflow 站点的说明中划出了重点):

TensorFlow™ 是一个使用数据流图进行数值计算的开源软件库。图中的节点代表数学操作,而图中的边则代表节点间相互联系的多维数据数组(张量)。

我们可以把 Tensorflow 看作是一种描述性语言,类似于 SQL,你可以用它描述你的需求,让底层引擎(数据库)解析你的 query 语句,检查语法和语义错误,将其转化为它的内部描述,优化并计算出结果:最后返回给你正确的结果。

所以,我们使用 API 接口时,实际是在描述一个图:当我们将它放入一个中,并且开始时,图的求值过程就开始了。

理解这些之后,让我们尝试定义一个计算图,并且在一个中计算它。API 文档能为我们清楚地提供(缩写)和包的方法列表。

如你所见,这两个包包含了我们对图进行定义和计算所需要的一切。

前一个包包含了构建类似本身等基础「空」结构的方法,后一个则是最重要的包,它包含了从 C++ 实现里自动生成的接口方法。

假设我们想要计算矩阵 A 和 x 的乘积:

A=(

1−1

2−2

),x=(

10100

)

我假设读者已经知道 tensorflow 图定义的概念,知道什么是占位符而且知道它们如何工作。下面的代码是用户第一次使用 Python 接口时可能会做的尝试。我们将其命名为

代码内的注释非常丰富,请大家仔细阅读每行注释。

如果是 Python 版 Tensorflow 的使用者,现在已经可以期待代码编译后能完美运行了。我们看看是否能如愿呢:

go run attempt1.go

会得到如下结果:

panic: failed to add operation "Placeholder": Duplicate node name in graph: 'Placeholder'

稍等,这里发生了什么?错误提示很明显,有两个同名的占位符都叫作“PlaceHolder“。

第一课:节点 ID

要验证这段程序创建了两个不同的节点,我们只需要将占位符的名字打印出来:输出。 这里占位符的名字是同时占位符的名字是。

在 Go 版本里,则不同,之前程序就因为和都叫作而导致运行失败。我们可以总结如下:

Go 语言版 API 接口每次在我们调用定义操作的方法时,不会自动为节点生成新的名称:操作名称是固定的,而且我们没法改变它。

问答时间:

关于 Tensorflow 系统我们学到了什么?对于一个图来说,它的每一个节点都必须有唯一的名称。节点是以各自的名字来区分的。

节点名称是否与定义它的操作名称相同?是的,更确切地讲,不完全是,只是名称的结尾部分相同。

为了说明第二个答案,让我们来修复节点的重名问题。

第二课:作用域

正如我们刚才看到,Python 版的 API 接口会在每次定义操作时,自动生成一个新的名字。从底层实现来看,Python 接口调用了 C++ 的类的方法。以下是此方法的文档和形式声明,来自scope.h头文件:

我们可以注意到这个用于命名节点的方法,其返回值是一个对象,由此一个节点的名称,实际上是一个域对象。一个是一个完整路径,从根(空图)起到结束。

当我们增加一个从到有相同路径的节点时,会导致在同一个域中的节点重复,此时方法会为名称添加一个后缀(是一个计数器)。

知道这些以后,我们期望找到的方法,来解决重复节点的问题。可惜的是,这个方法暂时还没有实现。

取而代之的,在文档中的 Scope 类型部分我们看到唯一能够返回一个新的的方法是。

引用文档如下:

调用 SubScope 方法会返回一个新的 Scope,使得所有加入图中的操作都被置于命名空间 ‘namespace’ 中。如果命名空间与作用域中已有的命名空间重名,则会加上后缀。

使用后缀进行冲突管理与在 C++ 中使用方法不同:在同一个作用域内的操作名称后加上后缀(这样就变成了),而 Go 使用的的方法则是对作用域名称增加后缀名。

这点差异会产生完全不同的图,不过尽管不同(节点放在不同的作用域中),从计算角度看它们是等价的。

让我们修改一下占位符的定义过程,定义两个不同的节点,然后打印出的名称。

让我们创建文件将下面几行代码:

改成

正常编译并运行:。结果如下:

问答时间:

关于 Tensorflow 系统我们学到了什么?一个节点可由它被定义的作用域所区分。作用域就是从图的根节点直到操作节点的路径。有两种方式可以定义执行相同操作的节点:在不同的作用域中定义操作(Go 的方式)或者改变操作名称(Python 自动实现或者我们可以使用 C++ 做到)

我们刚刚解决了节点名称重复的问题,另一个问题又出现

为什么节点定义会报错?我们只是想让两个矩阵相乘!看起来是唯一不能接受的参数类型。

属性 ‘T’ 的取值 int64,不在允许的列表中:half,float,double,int32,complex32, complex64, complex128

这是什么列表?为什么我们可以将两个类型的矩阵相乘却不支持类型?

让我们继续研究这个问题,搞清楚到底发生了什么。

第三课:Tensorflow 类型体系

让我们深入到 C++ 源码中,看一下操作的函数声明:

这行代码定义了操作的接口:特别注意,我们使用宏声明了操作的:

名称:

参数:,

属性(可选参数):,

模板支持的类型:

输出形式:自动推理的

文档

这个宏调用不包含任何 C++ 代码,不过它告诉我们当定义个一个操作时,即使它使用了模板,我们也必须指定对于指定类型(或属性)所支持的类型列表。例如,属性就限制了类型必须是列表中的某一项。

我们可以从教程中看到,甚至在使用模板的时候,我们也必须为每个支持的重载显示地注册到内核中。内核是以 CUAD 方式对 C/C++ 函数进行并行调用执行的。

的作者之所以决定只支持之前列出的参数类型,而不支持类型,可能有以下两个原因:

疏忽:这是有可能的,毕竟 Tensorflow 的代码也是人写的!

为了支持那些不完全支持类型操作的设备,这样内核的这些特定实现就不会到处都是,而导致在本可以支持的硬件上无法运行。

回到我们的报错上来:修复的方法很明显。我们必须要给方法传递它所支持的数据类型。

让我们创建文件,将每一行用到的地方改成。

有件事要注意一下:Go 语言的接口包定义了一套自有的类型,与 Go 原生类型基本上是 1:1 对应的关系。当我们向图内填入参数时需要对照这个对应关系(比如,对于定义为的占位符要传入 类型的值)。从图中读取数据时也要准从相同的法则。由张量计算返回的类型,自带方法,它可以返回一个类型的值,必须由我们去转化为正确的类型(我们构建图的时候可知此类型)。

正常执行。结果如下:

棒极了!

这儿有一份完整的的代码,你可以编译并运行它。

问答时间:

关于 Tensorflow 系统我们学到了什么?每个操作都有它自己的关联核心实现。Tensorflow 可以看作是一种强类型的描述性语言。它不仅要遵守 C++ 的类型规则,它还得在注册操作时指定执行时使用数据的类型。

总结

使用 Go 语言定义图并进行运算,带给我们一次深入理解 Tensorflow 底层架构的机会。采取逐步试错的方式,我们解决了这个简单的问题,而且一步步学习到了关于图,图的节点以及类型体系的新知识。

版权申明:内容来源网络,版权归原创者所有。除非无法确认,我们都会标明作者及出处,如有侵权烦请告知,我们会立即删除并表示歉意。谢谢。

Golang语言社区

游戏服务器架构丨分布式技术丨大数据丨游戏算法学习

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180716B1W5ZU00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码关注腾讯云开发者

领取腾讯云代金券