专栏首页智能算法深度学习三人行(第2期)---- TensorFlow爱之再体验

深度学习三人行(第2期)---- TensorFlow爱之再体验

上一期,我们一起学习了TensorFlow的基础知识,以及其在线性回归上的初体验,该期我们继续学习TensorFlow方面的相关知识。学习的路上,我们多多交流,共同进步。本期主要内容如下:

  • 梯度下降TF实战
  • 模型保存和恢复
  • TensorBoard可视化
  • 模块与共享变量

一. 梯度下降TF实战

这里我们一起看下TensorFlow在梯度下降中的使用,通过TensorFlow来寻找使得损失函数最小化的系数,我们之前一起学过梯度下降方面的知识,这里不在赘述,可公众号回复“机器学习”进行查看。这里,我们从直接计算和自动分化计算以及有优化器来计算

11 TensorFlow直接计算

下面代码基本上函数都有接触过,其中tf.random_uniform()函数在图中创建一个包含随机值的节点,类似于NumPy中的random()函数。

tf.assign()函数的作用是创建一个将新值赋给变量的一个节点,这里相当于执行如下迭代:

接下来就是不断迭代更新θ值,来我们看下迭代的最终结果:

我们可以看到,每次迭代损失函数都在下降。

1.2 autodiff方法计算

上面的方法并没有什么问题,但是唯一不足的是需要数学推导梯度的损失函数公式。在线性回归中,这个是没问题的,但是如果在深度神经网络中,我们就死翘翘了,即使我们使用其他方法推出数学公式来运行,也不会得到高效的运行代码。外面只需要将下面的代码替换成上面的梯度公式即可:

通过上面代码即可,gradients函数有两个参数,一个是op(tensorflow operations)(这里是损失函数),另外一个是变量列表(θ值),运行代码请在公众号“智能算法”回复文末的关键字下载。

自动计算梯度一般有以下四种方法,TensorFlow用了reverse-mode autodiff方法,该方法特别适用于大量输入,少量输出的神经网络系统中。

1.3 优化器来计算

对于梯度下降法,TensorFlow还可以更简单一些,直接用优化器来做,如下代码:

而且,当我们想选择不同类型的优化器的时候,直接修改其中一行代码即可,比方说,我们想用一种收敛更快的方法矩优化(后面系列会有介绍)的话,那么我们只需要修改具体查看代码如下即可:

1.4 训练过程中传输数据

我们之前学习学习梯度下降的时候,学过一种叫做小批量数据梯度下降的方法,其基本思想就是不断输入小批量的数据进行梯度下降寻优(详情可见机器学习第五期 )。这里就牵涉到一个如何在训练过程中传输数据的问题,我们一起学习下。

要想在训练的过程中进行更新输入参数,最简单的方法是用placeholder节点,从字面意思我们也可以看出来,这种节点不参与计算,这种节点一般用在运行过程中进行传输训练数据,当然,如果在运行时没有对placeholder节点进行赋值的话,将会出现异常。既然我们知道了原理,那么我们看一下如何实现:

正如上面代码所示,我们创建placeholder节点是通过调用placeholder函数完成的,函数中我们需要说明tensor的数据类型,如上图,我们在图中并未对节点A进行数据传入,而是在计算B的时候通过feed_dict将数据A进行传入。为了实现我们的MBGD梯度下降算法,我们需要对之前代码进行稍微修改,如下:

首先就是在创建图的阶段,我们通过placeholder来修改X和y。然后再执行阶段通过feed_dict将X和y逐个的传入,如下图:

代码过长,详细代码请移步公众号“智能算法”回复文末关键字下载。

二. 模型保存和恢复

2.1 保存模型

当我们训练好一个模型之后,一般情况下都会保存下来,以备后面调用,或者在训练的过程中,我们有时候也希望将训练的中间结果保存下来,防止训练过程中断电等异常出现,避免重新训练,那么如何保存下来呢?

TensorFlow中保存模型还是比较简单的,我们只需要在创建图阶段创建一个Saver的节点,然后在执行阶段需要保存模型的地方调用Save()函数即可,如下代码:

从上面我们也可以看出,在构建图的结尾我们创建了saver节点(with语句前面),而在执行阶段中,if语句下面和最后一行代码的地方,我们调用了save函数来保存模型。保存在save函数的输入路径中。那么如何恢复呢?

2.2 模型恢复

恢复模型也很简单和保存一样在构建图的结尾创建一个saver节点,不同的是在执行阶段的开始,用restore()函数进行模型恢复,如下图:

默认情况下,保存和恢复模型是按照变量自有的名字来进行的,但是如果我们想更高级些的话,我们可以指定保存和恢复哪些变量,以及用什么名字来保存变量,如下:

我们将theta变量保存为weights名称。

其实在上面的保存过程中,saver默认将计算图也以.meta为后缀的文件保存起来了,当我们需要恢复计算图的时候,我们可以调用tf.train.import_meta_graph()函数来进行恢复,该函数自动将meta计算图加载到默认图中,如下:

到目前为止,我们学习了构建计算图,以及利用MBGD的方法来进行线性回归。学习了如何保存和恢复模型。但是到目前为止,我们的输出信息还是依赖于print函数,有木有一种更好的可视化的方法呢?


三. TensorBoard可视化

我们可以通过TensorBoard来进行可视化训练过程,比如学习曲线等信息。对于诊断错误和发现模型瓶颈很有帮助,下面我们一起学习下如何玩转TensorBoard吧。

其实TensorBoard可视化训练过程是读取log信息的过程,那我们就需要将需要可视化的内容写成log存下来,然后调用TensorBoard进行读取显示。

比方说我们想看一下我们创建的图到底长什么样子,那么我们可以把这个图FileWriter把图存下来,如下:

其中logdir是保存路径。那么保存下来之后,如何用TensorBoard打开呢?

windws下,我们重新打开cmd,输入如下指令:

tensorboard --logdir =E://PyProjects//tf_logs//run-20180306133922

后面的路径是你log保存的路径,然后在浏览器中打开http://localhost:6006/#graphs,就可以看到我们代码中创建的图了,如下:

其中每个节点点开都会有关于该节点的输入输出等说明,如下:

好了,至此我们学会了如何打开TensorBoard查看log,那我们看下基于MBGD的线性回归的学习曲线如何,如下:

从学习曲线上可以看出来我们的MSE是成下降趋势的。关于TensorBoard的更多有趣的玩法,我们边学边探索。


四. 模块化与共享变量

4.1 节点分组

当我们处理比较复杂的模型的时候,比如神经网络的时候,计算图可能会有N多节点,为了避免节点混乱,我们可以对节点分组。比方说,我们要对前面代码中的error和mse进行分组为loss,那么我们可以code如下:

用with语句对ops进行分组,该op的名字前面会有一个组名的前缀如下:

而在TensorBoard中mse和error也将会以loss的形式出现:

4.2 模块化

假如我们想创建一个图,并增加两个修正线性单元(ReLU),ReLU计算输入的线性加和,并且输出0和计算结果中的最大值,如下:

用代码实现,如下:

可以看出上面的代码是具有很大的重复性,这种代码很难维持,且容易出错,比方说上面代码中就有一个复制粘贴的错误,看出来了么?而且,如果我们想再增加一些ReLU的话,会显得很繁琐易错等,所以说我们需要避免这种类型的代码,我们可以对代码进行模块化封装,如下我们可以将ReLU封装如下:

这样,我们可以很easy的创建一堆ReLU,比方说5个,如下:

当然,我们也可以给这一堆relu进行前面介绍的命名分组,这样会显得更为简洁,尝试下吧。

4.3 共享变量

  • 如果我们想在计算图的不同组件用同一个变量的话,一个简单的方法就是先创建这个变量,然后通过函数传到需要的地方,如下:

这样我们就做到了将threshold共享给所有的ReLU。也就是说,我们可以通过threshold来控制所有的ReLU了。这样做是没问题的,也实现了我们想要的功能。但是如果有很多的变量需要共享,按照这样的方式进行逐个传入的话,我们就会比较痛苦。有些人为了减轻这种痛苦,将众多共享变量封装成字典或者一个类传入函数中,这样是可以的。但是还有一种值得推荐的方法就是,将共享变量设置为函数的一个属性:

  • TensorFlow还提供了更为简洁和模块化的方法,那就是通过get_variable()进行创建一个共享变量(如果已经存在的话,就重新利用)。如下:

如果该变量之前已经通过get_variable()创建过了,那么此时就会出错。如果已经存在的话,我们可以通过设置变量范围的属性reuse为true来避免异常,如下:

或者在with语句块中,通过调用reuse_variables()函数。如下:

下面我们来看一下上述共享变量方法的完整代码,

上面的代码定义了relu函数,然后创建了共享变量threshold,最后通过函数内重新利用threshold创建了5个ReLUs。然而上面的代码中,我们在函数relu外面定义和初始化共享变量,那么能不能在函数里面进行定义共享变量呢?上代码如下:

上面创建5个ReLU的代码中保证了在创建第一个的时候resue=false,而后4个的时候resule=true保证了变量的共享。

五. 本期小结

至此,我们从TensorFlow直接计算梯度下降法入手,分别学习了autodiff方法,优化器的方法以及MBGD。接着为了利用训练好的模型,我们学习了模型的保存和恢复,之后我们又一起学习了TensorBoard来可视化我们的计算图和学习曲线等,最后,从节点分组下手,学习了代码的模块化和几种共享变量的实现。当然还有很多功能,我们边学边聊。

本文分享自微信公众号 - 智能算法(AI_Algorithm)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-03-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 谷歌推出TensorFlow Lattice,让机器学习模型适应总体趋势

    林鳞 编译整理 量子位 出品 | 公众号 QbitAI 昨天,谷歌发布了TensorFlow Lattice,想拯救被训练数据中噪音折磨的机器学习模型开发者。 ...

    量子位
  • 讲道理,我觉得TensorFlow太逊了

    原作:Nico Jimenez 安妮 编译自 Nico’s Blog 量子位 出品 | 公众号 QbitAI 本文作者Nico Jimenez。自2015年从斯...

    量子位
  • 【揭秘】深入 Facebook 人工智能大脑

    【新智元导读】为了对抗谷歌机器学习开源软件TensorFlow,Facebook去年宣布开源硬件Big Sur。日前,Facebook 首次对媒体开放 Prin...

    新智元
  • 【干货】消除 Artifact,用缩放卷积神经网络生成高清图像(TensorFlow 代码)

    【新智元导读】非常仔细地观察神经网络生成的图像时,经常会看到一些奇怪的棋盘格子状的伪影(棋盘效应,checkboard artifacts)。本文作者讨论了棋盘...

    新智元
  • 实现属于自己的TensorFlow(一) - 计算图与前向传播

    前言 前段时间因为课题需要使用了一段时间TensorFlow,感觉这种框架很有意思,除了可以搭建复杂的神经网络,也可以优化其他自己需要的计算模型,所以一直想自...

    Python中文社区
  • Facebook 刚开源的 Torchnet 与谷歌 TensorFlow 有何不同

    【新智元导读】Facebook今天宣布开源深度学习平台 Torchnet。Torchnet 基于广泛使用的开源深度学习框架 Torch 7 搭建,支持模块化编程...

    新智元
  • TensorFlow ML cookbook 第一章7、8节 实现激活功能和使用数据源

    问题导读: 1、TensorFlow中有哪些激活函数? 2、如何运行激活函数? 3、TensorFlow有哪些数据源? 4、如何获得及使用数据源? 上...

    用户1410343
  • 【快报】大公司齐聚Spark Summit | TensorFlow 支持 iOS

    谷歌 谷歌发布 TensorFlow 0.9 测试版 支持 iOS 运行 ? 谷歌昨天发布机器学习平台 TensorFlow 新版本0.9,支持在 iOS 上运...

    新智元
  • 码农の带娃绝技:TensorFlow+传感器,200美元自制猜拳手套

    王小新 编译自 Google Cloud Blog 量子位 出品 | 公众号 QbitAI 你们程序员啊,连带娃都这么技术流…… 今年夏天,谷歌云负责维护开发者...

    量子位
  • 深度学习大新闻:谷歌 Tensorflow 选择 Keras

    【新智元导读】 Keras 的作者、谷歌 AI 研究员 Francois Chollet 宣布了一条激动人心的消息:Keras 将会成为第一个被添加到 Tens...

    新智元

扫码关注云+社区

领取腾讯云代金券