基于tensorboard的模型训练过程可视化
2018年9月14日笔记
阅读本文的前提是已经阅读《基于tensorflow的一元二次方程回归预测》，文章链接：https://cloud.tencent.com/developer/article/1351813
本文使用tensorboard对一元二次方程回归预测的模型训练过程做可视化展现。
0.编程环境
安装tensorflow命令：pip install tensorflow
操作系统：Win10
tensorflow版本：1.6
tensorboard版本：1.6
python版本：3.6
1.运行tensorboard
本文作者花费了4个小时才成功运行tensorboard，失败的主要原因是文件夹中带有中文。
为了避免读者踩坑，请跟随本文作者做相同操作。
在桌面新建一个文件夹tensorboardTest，如下图所示：
image.png
作者提供可以直接在tensorboard中查看的文件。
下载链接: https://pan.baidu.com/s/1uq7ElLd4z8AkTAs5t2gXxw 密码: fiqs
下载文件后在放到不含有中文的文件夹中，并在此文件夹下打开cmd，如下图所示：
image.png
在cmd中输入命令并运行：tensorboard --logdir ./
成功运行的结果如下图所示：
image.png
开启tensorboard服务后，可以在浏览器访问网址：localhost:6006
下图的4个红色箭头标注表示通过代码做出了4张图，第1张图是loss的变化曲线图；
image.png
第2张图是神经网络架构图；
image.png
第3张图是权重Weights和偏置biases的变化曲线图；
image.png
第4张图是权重Weights和偏置biases的分布直方图。
image.png
2.打开jupyter
下图中左边红色方框指的是要在文件夹tensorboardTest打开PowerShell或者cmd。
在PowerShell或者cmd中输入命令并运行：jupyter notebook
image.png
运行命令后会自动打开浏览器，界面如下图所示，点击下图红色箭头标注处新建代码文件。
image.png
点击下图红色箭头标注处修改代码文件名为tensorboardTest1。
image.png
3.检测tensorflow环境
下面一段代码能够成功运行，则说明安装tensorflow环境成功。
import tensorflow as tf
hello = tf.constant('hello world')
session = tf.Session()
session.run(hello)上面一段代码成功运行的结果如下图所示：
image.png
4.数据准备
import tensorflow as tf
import numpy as np
batch_size = 100
X_data = np.linspace(-1, 1, 300).reshape(-1, 1).astype('float32')
noise = np.random.normal(0, 0.1, X_data.shape).astype('float32')
y_data = np.square(X_data) - 0.5 + noise
with tf.name_scope('inputs'):
X_holder = tf.placeholder(tf.float32, name='input_X')
y_holder = tf.placeholder(tf.float32, name='input_y')第1行代码导入numpy库，起别名np；
第2行代码导入tensorflow库，起别名tf；
第4行代码定义投入训练的样本数量batch_size。
第5行代码调用np.linspace方法获得一个区间内的等间距点，例如np.linspace(0, 1, 11)是获取0, 1区间的11个等间距点。如下图所示：
image.png
第6行代码调用np.random.normal方法初始化符合正态分布的点，第1个参数是正态分布的均值，第2个参数是正态分布的方差，第3个参数是返回值的shape，返回值的数据类型为ndarray对象。
第7行代码调用np.square方法对X中的每一个值求平方，- 0.5使用了ndarray对象的广播特性，最后加上噪声noise，将计算结果赋值给变量y。
第8行代码中scope中文叫做适用范围，每定义一个tf.name_scope，在tensorboard界面的graph中会有一个节点。
第9、10行代码中placeholder中文叫做占位符，tf.placeholder方法的第1个参数是tensorflow中的数据类型；第2个关键字参数name的数据类型是字符串，是在tensorboard界面中的显示名。
5.搭建神经网络
定义addConnect函数，作用是添加1层连接。
因为该神经网络总共有3层：输入层、隐层、输出层，所以需要调用2次addConnect函数添加2层连接。
addConnect函数第1个参数是输入矩阵，第2个参数是输入矩阵的列数，第3个参数是输出矩阵的列数，第4个参数用来定义是第几层连接，第5个参数是激活函数。
最后6行代码定义损失函数、优化器、训练过程。
def addConnect(inputs, in_size, out_size, n_connect, activation_function=None):
connect_name = 'connect%s' %n_connect
with tf.name_scope(connect_name):
with tf.name_scope('Weights'):
Weights = tf.Variable(tf.random_normal([in_size, out_size]) ,name='W')
tf.summary.histogram(connect_name + '/Weights', Weights)
with tf.name_scope('biases'):
biases = tf.Variable(tf.zeros([1, out_size]) + 0.1, name='b')
tf.summary.histogram(connect_name + '/biases', biases)
with tf.name_scope('Wx_plus_b'):
Wx_plus_b = tf.add(tf.matmul(inputs, Weights), biases)
if activation_function is None:
return Wx_plus_b
else:
return activation_function(Wx_plus_b)
connect_1 = addConnect(X_holder, 1, 10, 1, tf.nn.relu)
predict_y = addConnect(connect_1, 10, 1, 2)
with tf.name_scope('loss'):
loss = tf.reduce_mean(tf.square(y_holder - predict_y))
tf.summary.scalar('loss', loss)
with tf.name_scope('train'):
optimizer = tf.train.AdamOptimizer(0.1)
train = optimizer.minimize(loss)6.变量初始化
init = tf.global_variables_initializer()
session = tf.Session()
session.run(init)对于神经网络模型，重要是其中的W、b这两个参数。
开始神经网络模型训练之前，这两个变量需要初始化。
第1行代码调用tf.global_variables_initializer实例化tensorflow中的Operation对象。
image.png
第2行代码调用tf.Session方法实例化会话对象；
第3行代码调用tf.Session对象的run方法做变量初始化。
7.模型训练
import datetime
import random
nowTime = datetime.datetime.now()
timestamp = nowTime.strftime('%m%d%H%M%S')
write = tf.summary.FileWriter('logs'+timestamp, session.graph)
merge_all = tf.summary.merge_all()
for i in range(201):
select_index = random.sample(range(len(X_data)), k=batch_size)
select_X = X_data[select_index]
select_y = y_data[select_index]
session.run(train, feed_dict={X_holder:select_X, y_holder:select_y})
merged = session.run(merge_all, feed_dict={X_holder:select_X, y_holder:select_y})
write.add_summary(merged, i)第1行代码导入datetime库获取当前时间，从而给文件夹命名；
第2行代码导入random库，第10行代码使用random.sample方法选取数量为batch_size的样本来训练；
第4、 5、 6行代码给新建的日志文件夹命名；
第7行代码将绘制标量曲线图SCALARS、变量曲线图DISTRIBUTIONS、变量分布直方图HISTOGRAMS的任务合并交给变量merge_all；
在200次训练迭代中，第10、11、12行代码选取数量为batch_size的样本来训练；
第13行代码每运行1次，即神经网络训练1次；
第14行代码获得每次训练后loss、Weights、biases值；
第15行代码把loss、Weights、biases值写入日志文件中。
8.完整代码和查看结果
import tensorflow as tf
import numpy as np
import datetime
import random
batch_size = 100
X_data = np.linspace(-1, 1, 300).reshape(-1, 1).astype('float32')
noise = np.random.normal(0, 0.1, X_data.shape).astype('float32')
y_data = np.square(X_data) - 0.5 + noise
with tf.name_scope('inputs'):
X_holder = tf.placeholder(tf.float32, name='input_X')
y_holder = tf.placeholder(tf.float32, name='input_y')
def addConnect(inputs, in_size, out_size, n_connect, activation_function=None):
connect_name = 'connect%s' %n_connect
with tf.name_scope(connect_name):
with tf.name_scope('Weights'):
Weights = tf.Variable(tf.random_normal([in_size, out_size]) ,name='W')
tf.summary.histogram(connect_name + '/Weights', Weights)
with tf.name_scope('biases'):
biases = tf.Variable(tf.zeros([1, out_size]) + 0.1, name='b')
tf.summary.histogram(connect_name + '/biases', biases)
with tf.name_scope('Wx_plus_b'):
Wx_plus_b = tf.add(tf.matmul(inputs, Weights), biases)
if activation_function is None:
return Wx_plus_b
else:
return activation_function(Wx_plus_b)
connect_1 = addConnect(X_holder, 1, 10, 1, tf.nn.relu)
predict_y = addConnect(connect_1, 10, 1, 2)
with tf.name_scope('loss'):
loss = tf.reduce_mean(tf.square(y_holder - predict_y))
tf.summary.scalar('loss', loss)
with tf.name_scope('train'):
optimizer = tf.train.AdamOptimizer(0.1)
train = optimizer.minimize(loss)
init = tf.global_variables_initializer()
session = tf.Session()
session.run(init)
nowTime = datetime.datetime.now()
timestamp = nowTime.strftime('%m%d%H%M%S')
write = tf.summary.FileWriter('logs'+timestamp, session.graph)
merge_all = tf.summary.merge_all()
for i in range(201):
select_index = random.sample(range(len(X_data)), k=batch_size)
select_X = X_data[select_index]
select_y = y_data[select_index]
session.run(train, feed_dict={X_holder:select_X, y_holder:select_y})
merged = session.run(merge_all, feed_dict={X_holder:select_X, y_holder:select_y})
write.add_summary(merged, i)代码成功运行会在同级文件夹中产生日志文件夹，如下图所示。
根据代码运行时间对文件夹命名，所以读者的文件夹名与下图不同。
image.png
点击进入此文件夹，在此文件夹在打开cmd，如下图所示：
image.png
在cmd中输入命令并运行：tensorboard --logdir ./
image.png
开启tensorboard服务后，可以在浏览器访问网址：localhost:6006
浏览器中的界面如下图所示，则说明操作都是成功的。
image.png
9.结合matplotlib可视化、tensorboard日志
visualization2代码文件下载链接: https://pan.baidu.com/s/1KkCMOAVrWOkg1SfDaySFoA 密码: ud3z
在代码文件同级目录下打开cmd，输入命令并运行：python visualization2.py
运行结果部分截图如下：
image.png
10.结论
1.这是本文作者写的第3篇关于tensorflow的文章，加深了对tensorflow框架的理解；
2.本文是作者学习《周莫烦tensorflow视频教程》的成果，感激前辈；
3.因为tensorboard版本原因，原视频的代码需要修改，自己复现代码花费了10多个小时；
4.通过指定batch_size，加深了对tf.Session对象的run方法中的feed_dict参数的理解。