TensorFlow从0到1 | 第十七章 Step By Step上手TensorBoard

上一篇 16 L2正则化对抗“过拟合 ”提到,为了检测训练过程中发生的过拟合,需要记录每次迭代(甚至每次step)模型在训练集和验证集上的识别精度。其实,为了能更好的调试和优化TensorFlow程序,日志(logging)和监测(monitoring)需求远不止“识别精度”。在训练过程中不断变化的“损失”、“更新速率”(step/sec)甚至“概率分布”等信息,都是帮助我们深入理解模型与训练的关键信息。 对此,TensorBoard提供了尽善尽美的支持。它能将所记录的动/静态信息,方便的可视化成直观的图形,帮助人们更容易的分析并获得洞察,让神经网络“黑盒”变得透明。

本篇介绍TensorBoard的基本用法:绘制MNIST案例中计算图、识别精度和损失。

训练集和验证集识别精度

TensorBoard生成图形的流程框架,简单概括起来就两点:

  • TensorFlow运行并将log信息记录到文件;
  • TensorBoard读取文件并绘制图形。

在代码实现和组织层面,通常只要在“正常”代码后集中添加负责logging的代码即可,两者能够很好的区隔,不会发生严重的耦合。以下示例代码基于16 L2正则化对抗“过拟合”,修改了logging的部分。

step 1:构造summary node

TensorBoard以protocol buffer 的方式记录信息,它是Google开发的一种序列化结构数据的方法。

我们的目标是记录accuracy和loss,更准确的说是记录accuracy node和loss node的输出值,那么首先需要将数据转换成protocol buffer object,而负责转换动作的就是TensorFlow提供的summary节点(summary有汇总和概括的含义,暂不做翻译)。

accuracy_scalar = tf.summary.scalar('accuracy', accuracy)loss_scalar = tf.summary.scalar('loss', loss)

上面的tf.summary.scalar方法称为summary operation。它接受一个要跟踪的节点,并返回一个scalar summary节点,该节点以protocol buffer的方式表示一个标量值。

summary节点与其他节点一样,依靠Session运行才会有输出。如果跟踪的节点非常多,还可以进行节点合并,Session在运行时会自动遍历运行所有的summary节点:

merged = tf.summary.merge_all()

step 2:构造summary file writer

构造好summary node后,就要构造summary文件写入器了,所有跟踪的信息都依靠它来写入文件,而TensorBoard绘制的图形正是基于这些文件的。

train_writer = tf.summary.FileWriter('MNIST/logs/tf17/train')validation_writer = tf.summary.FileWriter('MNIST/logs/tf17/validation')

tf.summary.FileWriter构造summary文件写入器,接受一个log的目录作为保存文件的路径。log目录如果不存在,会被程序自动创建。通常训练集日志和验证集日志分开存放,分别构造各自的summary文件写入器即可。

step 3:运行summary节点

在运行summary节点时,出于性能考虑(尽可能少的运行计算图),会与使用相同输入数据的“正常”节点一起执行,下面代码基于训练数据,使用了合并的summary节点:

summary, accuracy_currut_train = sess.run(
    [merged, accuracy],    feed_dict={x: mnist.train.images, y_: mnist.train.labels})

在summary节点不多时,当然也可以分别运行节点,下面代码基于验证数据,使用了单独的summary节点:

(sum_accuracy_validation,
 sum_loss_validation,
 accuracy_currut_validation) = sess.run(
    [accuracy_scalar, loss_scalar, accuracy],    feed_dict={x: mnist.validation.images, y_: mnist.validation.labels})
step 4:向记录器添加
运行summary节点的输出,即可通过文件写入器的add_summary方法进行添加,
该方法除了接受summary节点的运行输出值,还接受一个global_step参数来
作为序列号:
train_writer.add_summary(summary, epoch)
validation_writer.add_summary(sum_accuracy_validation, epoch)validation_writer.add_summary(sum_loss_validation, epoch)

step 5:启动TensorBoard Server

启动TensorBoard Server可以与前面的记录写入并行,TensorBoard会自动的扫描日志文件的更新。

重新生成并绘制,只需手工删除现有数据或者目录即可。

新启动一个命令行窗口,激活虚拟环境,键入命令tensorboard,其参数logdir指出log文件的存放目录,可以只给出其上级目录,TensorBoard会自动递归扫描目录:

tensorboard --logdir=TF1_1/MNIST

TensorBoard Server

当TensorBoard服务器顺利启动后,即可打开浏览器输入地址:http://127.0.0.1:6006/查看。注意在Windows环境下输入http://0.0.0.0:6006/无效。下图就是TensorBoard绘制出的accuracy和loss的图形:

TensorBoard

图形“同框”技巧

上图中的accuracy和loss图形中,训练集曲线和验证集曲线以不同颜色“同框”出现,特别便于对比分析。同框需要满足以下两点:

  • 要同框的曲线跟踪的必须是同一个节点,比如跟踪accuracy节点或loss节点;
  • 各曲线的数据记录在不同的目录下,可以通过构造两个不同的文件写入器来达到;

绘制计算图

TensorBoard除了绘制动态数据,绘制静态的graph(计算图)更是easy,在构造“文件写入器”多添加一个参数sess.graph即可:

train_writer = tf.summary.FileWriter('MNIST/logs/tf17/train', sess.graph)

重新运行TensorFlow程序后,启动TensorBoard Server,在浏览器打开页面,点选GRAPHS菜单,即可看到:

Graph

附完整代码

import argparse
import sys
from tensorflow.examples.tutorials.mnist import input_data
import tensorflow as tf

FLAGS = None


def main(_):
    # Import data
    mnist = input_data.read_data_sets(FLAGS.data_dir, one_hot=True,
                                      validation_size=10000)

    # Create the model
    x = tf.placeholder(tf.float32, [None, 784])
    W_2 = tf.Variable(tf.random_normal([784, 100]) / tf.sqrt(784.0))
    '''W_2 = tf.get_variable(
        name="W_2",
        regularizer=regularizer,
        initializer=tf.random_normal([784, 30], stddev=1 / tf.sqrt(784.0)))'''
    b_2 = tf.Variable(tf.random_normal([100]))
    z_2 = tf.matmul(x, W_2) + b_2
    a_2 = tf.sigmoid(z_2)

    W_3 = tf.Variable(tf.random_normal([100, 10]) / tf.sqrt(100.0))
    '''W_3 = tf.get_variable(
        name="W_3",
        regularizer=regularizer,
        initializer=tf.random_normal([30, 10], stddev=1 / tf.sqrt(30.0)))'''
    b_3 = tf.Variable(tf.random_normal([10]))
    z_3 = tf.matmul(a_2, W_3) + b_3
    a_3 = tf.sigmoid(z_3)

    # Define loss and optimizer
    y_ = tf.placeholder(tf.float32, [None, 10])

    tf.add_to_collection(tf.GraphKeys.WEIGHTS, W_2)
    tf.add_to_collection(tf.GraphKeys.WEIGHTS, W_3)
    regularizer = tf.contrib.layers.l2_regularizer(scale=5.0 / 50000)
    reg_term = tf.contrib.layers.apply_regularization(regularizer)

    loss = (tf.reduce_mean(
        tf.nn.sigmoid_cross_entropy_with_logits(labels=y_, logits=z_3)) +
        reg_term)

    train_step = tf.train.GradientDescentOptimizer(0.5).minimize(loss)

    sess = tf.InteractiveSession()
    tf.global_variables_initializer().run()

    correct_prediction = tf.equal(tf.argmax(a_3, 1), tf.argmax(y_, 1))
    accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

    accuracy_scalar = tf.summary.scalar('accuracy', accuracy)
    loss_scalar = tf.summary.scalar('loss', loss)
    merged = tf.summary.merge_all()
    train_writer = tf.summary.FileWriter(
        'MNIST/logs/tf17/train', sess.graph)
    validation_writer = tf.summary.FileWriter(
        'MNIST/logs/tf17/validation')

    # Train
    best = 0
    for epoch in range(30):
        for _ in range(5000):
            batch_xs, batch_ys = mnist.train.next_batch(10)
            sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})
        sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})
        # Test trained model
        summary, accuracy_currut_train = sess.run(
            [merged, accuracy],
            feed_dict={x: mnist.train.images,
                       y_: mnist.train.labels})

        (sum_accuracy_validation,
         sum_loss_validation,
         accuracy_currut_validation) = sess.run(
            [accuracy_scalar, loss_scalar, accuracy],
            feed_dict={x: mnist.validation.images,
                       y_: mnist.validation.labels})

        train_writer.add_summary(summary, epoch)
        validation_writer.add_summary(sum_accuracy_validation, epoch)
        validation_writer.add_summary(sum_loss_validation, epoch)

        print("Epoch %s: train: %s validation: %s"
              % (epoch, accuracy_currut_train, accuracy_currut_validation))
        best = (best, accuracy_currut_validation)[
            best <= accuracy_currut_validation]

    # Test trained model
    print("best: %s" % best)
    train_writer.close()
    validation_writer.close()


if __name__ == '__main__':
    parser = argparse.ArgumentParser()
    parser.add_argument('--data_dir', type=str, default='../MNIST/',
                        help='Directory for storing input data')
    FLAGS, unparsed = parser.parse_known_args()    tf.app.run(main=main, argv=[sys.argv[0]] + unparsed)

原文发布于微信公众号 - 人工智能LeadAI(atleadai)

原文发表时间:2017-08-30

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AIUAI

GPU 显存 - Caffe 内存优化

4116
来自专栏机器学习养成记

关联分析(3):Apriori R语言实现

我们对UCI机器学习库上下载的美国众议院议员投票记录数据,进行关联分析。在R中,可以直接调用arules包中的apriori()函数训练模型。

1072
来自专栏MixLab科技+设计实验室

自己动手做一个识别手写数字的web应用02

继续上文。 自己动手做一个识别手写数字的web应用01 01 再次进入docker容器 接着上一篇文章,我们继续使用上次新建好的容器,可以终端输入 : d...

3757
来自专栏深度学习思考者

Caffe for windows 训练minst和cifar-10

前言 今天刚看了看Theano,本来打算试着改改,再深入学习学习(这就是所谓的深度学习啊,亲们!哈哈)。由于扣扣好友在训练CIFAR-10数据集,所以就在昨天配...

2436
来自专栏数说工作室

Python &R 代码 对照速查表

推荐一篇文章,文中将常用机器学习算法的Python和R代码对照整理成一个表,方便查找和对比学习,原文还有PDF的下载。 (版权归原作者所有,点击文末阅读原文查看...

3956
来自专栏生信技能树

如何选择聚类模块数目

一般来说,类似K-means聚类算法需要我们提取指定聚类得到的cluster数目。 那么问题来了,如何为聚类选择一个适合的cluster数目呢 ? 很遗憾,上面...

85810
来自专栏深度学习那些事儿

pytorch中读取模型权重数据、保存数据方法总结

pytorch中保存数据策略在长时间的深度训练中有很大的作用,我们可以通过保存训练好的权重,然后等到下次使用的时候再取出来。另外我们也可以通过迁移学习使用别人训...

3.8K8
来自专栏MelonTeam专栏

Windows下Tensorflow的环境安装和Hello world

导语 深度学习 数字识别 Tensorflow 环境搭建 本人对深度学习是0基础,python也是没有用过,最近很流行深度学习,因此也想学习一下,...

2265
来自专栏君赏技术博客

【已解决】mas_updateConstraints更新约束引起的约束冲突

79DF33F7-1626-4FFD-9B01-1B115617F764

1582
来自专栏racaljk

2017第八届蓝桥杯决赛(C++ B组)4.发现环

小明的实验室有N台电脑,编号1~N。原本这N台电脑之间有N-1条数据链接相连,恰好构成一个树形网络。在树形网络上,任意两台电脑之间有唯一的路径相连。 不过在最...

1464

扫码关注云+社区