TensorFlow-3: 用 feed-forward neural network 识别数字

今天继续看 TensorFlow Mechanics 101:

https://www.tensorflow.org/get_started/mnist/mechanics

完整版教程可以看中文版tutorial:

http://wiki.jikexueyuan.com/project/tensorflow-zh/tutorials/mnist_tf.html

这一节讲了使用 MNIST 数据集训练并评估一个简易前馈神经网络(feed-forward neural network)

input,output 和前两节是一样的:即划分数据集并预测图片的 label

data_sets.train    55000个图像和标签(labels),作为主要训练集。
data_sets.validation    5000个图像和标签,用于迭代验证训练准确度。
data_sets.test    10000个图像和标签,用于最终测试训练准确度(trained accuracy)。

主要有两个代码:

mnist.py

https://github.com/tensorflow/tensorflow/blob/master/tensorflow/examples/tutorials/mnist/mnist.py

构建一个全连接网络,由 2 个隐藏层,1 个 softmax_linearv输出构成

定义损失函数,用cross entropyv

定义训练时的优化器,用 GradientDescentOptimizer

定义评价函数,用tf.nn.in_top_k

fully_connected_feed.py

https://github.com/tensorflow/tensorflow/blob/master/tensorflow/examples/tutorials/mnist/fully_connected_feed.py

  • placeholder_inputs 传入 batch size,得到 image 和 label 的两个placeholder
  • 定义生成 feed_dict的函数,key 是 placeholders,value 是 data
  • 定义 do_eval 函数,每隔 1000 个训练步骤,就对模型进行以下评估,分别作用于训练集、验证集和测试集
  • 训练时:
  • 导入数据
  • 得到 image 和 label 两个 placeholder
  • 传入 mnist.inference 定义的 NN, 得到 predictions
  • 将 predictions 传给 mnist.loss 计算 loss
  • loss 传给mnist.training 进行优化训练
  • 再用 mnist.evaluation 评价预测值和实际值

代码中涉及到下面几个函数:

with tf.Graph().as_default():

即所有已经构建的操作都要与默认的 tf.Graph 全局实例关联起来,tf.Graph 实例是一系列可以作为整体执行的操作

summary = tf.summary.merge_all():

为了释放 TensorBoard 所使用的 events file,所有的即时数据都要在图表构建时合并至一个操作 op 中,每次运行 summary 时,都会向 events file 中写入最新的即时数据

summary_writer = tf.summary.FileWriter(FLAGS.log_dir, sess.graph):

用于写入包含了图表本身和即时数据具体值的 events file。

saver = tf.train.Saver():

就是向训练文件夹中写入包含了当前所有可训练变量值 checkpoint file

with tf.name_scope('hidden1'):

主要用于管理一个图里面的各种 op,返回的是一个以 scope_name命名的 context manager,一个 graph 会维护一个 name_space的堆,实现一种层次化的管理,避免各个 op 之间命名冲突。例如,如果额外使用 tf.get_variable() 定义的变量是不会被tf.name_scope() 当中的名字所影响的

tf.nn.in_top_k(logits, labels, 1):

意思是在 K 个最有可能的预测中如果可以发现 true,就将输出标记为 correct。本文 K 为 1,也就是只有在预测是 true 时,才判定它是 correct。

原创声明,本文系作者授权云+社区-专栏发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据小魔方

R语言可视化——直方图及其美化技巧!

今天介绍关于直方图的美化技巧! 数据集仍然使用上一节使用到的有关钻石的数据信息。 data(diamonds) set.seed(42) small <- d...

2544
来自专栏有趣的Python

TensorFlow应用实战-5- TensorFlow基础知识

从helloworld开始 mkdir 1.helloworld cd 1.helloworld vim helloworld.py 代码: # -*- co...

3668
来自专栏落影的专栏

Metal入门教程(六)边界检测

Metal入门教程(一)图片绘制 Metal入门教程(二)三维变换 Metal入门教程(三)摄像头采集渲染 Metal入门教程(四)灰度计算 Metal入门教程...

1758
来自专栏吕晟的专栏

机器学习库初探之 Caffe

Caffe 是一个清晰而高效的深度学习框架,其作者是博士毕业于 UC Berkeley 的贾扬清,目前在 Facebook 工作。Caffe 是纯粹的 C++/...

9862
来自专栏落影的专栏

Metal入门教程(六)边界检测

前面的教程既介绍了Metal的图片绘制、三维变换、视频渲染,也引入MetalPerformanceShaders处理摄像头数据以及用计算管道实现灰度计算,这次尝...

714
来自专栏北京马哥教育

Tensorflow自学之前的bigpicture

作者:数据娃掘 来源:http://blog.csdn.net/jdbc/article/details/68957085 前言 目前,深度学习在计算机科学各领...

3367
来自专栏人工智能LeadAI

谈谈Tensorflow的dropout

Dropout这个概念已经推出4年了,它的详细描述见论文(https://arxiv.org/abs/1207.0580)。可是呢,它仿佛是个犹抱琵琶半遮面的美...

3197
来自专栏技术墨客

TensorFlow入门 原

本文将初步向码农和程序媛们介绍如何使用TensorFlow进行编程。在阅读之前请先 安装TensorFlow,此外为了能够更好的理解本文的内容,阅读之前需要了解...

782
来自专栏我爱编程

Matplotlib入门

qiangbo.space/2018-04-06/matplotlib_l1/ 入门代码示例 import matplotlib.pyplot as plt ...

3619
来自专栏小鹏的专栏

01 TensorFlow入门(1)

tensorflow_cookbook--第1章 TensorFlow入门         Google的TensorFlow引擎具有独特的解决问题的方法。 ...

21310

扫码关注云+社区