Tensorflow 笔记:搭建神经网络

目标:搭建神经网络,总结搭建八股

一、基本概念

1:基于 Tensorflow 的 NN:

用张量表示数据,用计算图搭建神经网络,用会话执行计算图,优化线上的权重(参数),得到模型。

2:TensorFlow的张量:

张量就是多维数组(列表),用“阶”表示张量的维度。

0 阶张量称作标量,表示一个单独的数; 举例 S=123

1 阶张量称作向量,表示一个一维数组; 举例 V=[1,2,3]

2 阶张量称作矩阵,表示一个二维数组,它可以有 i 行 j 列个元素,每个元素可以用行号和列号共同索引到; 举例 m=[[1, 2, 3], [4, 5, 6], [7, 8, 9]]

判断张量是几阶的,就通过张量右边的方括号数,0 个是 0 阶,n 个是 n 阶,张 量可以表示 0 阶到 n 阶数组(列表); 举例 t=[ [ [… ] ] ]为 3 阶。

3:TensorFlow的数据类型:

Tensorflow 的数据类型有 tf.float32、tf.int32 等。

举例 我们实现 Tensorflow 的加法:

可以打印出这样一句话:Tensor(“add:0”, shape=(2, ), dtype=float32),意思为 result 是一个名称为 add:0 的张量,shape=(2,)表示一维数组长度为 2, dtype=float32 表示数据类型为浮点型。

4:TensorFlow的计算图(Graph):

搭建神经网络的计算过程,是承载一个或多个计算节点的一 张图,只搭建网络,不运算。

举例:

在之前我们曾提到过,神经网络的基本模型是神经元,神经元的基本模型其 实就是数学中的乘、加运算。我们搭建如下的计算图:

x1、x2 表示输入,w1、w2 分别是 x1 到 y 和 x2 到 y 的权重,y=x1*w1+x2*w2。 我们实现上述计算图:

可以打印出这样一句话:Tensor(“matmul:0”, shape(1,1), dtype=float32), 从这里我们可以看出,print 的结果显示 y 是一个张量,只搭建承载计算过程的 计算图,并没有运算,如果我们想得到运算结果就要用到“会话 Session()”了。

5:TensorFlow的会话(Session):

执行计算图中的节点运算。

我们用 with 结构实现,语法如下:

with tf.Session() as sess:

print sess.run(y)

举例:

对于刚刚所述计算图,我们执行 Session()会话可得到矩阵相乘结果:

可以打印出这样的结果:

Tensor(“matmul:0”, shape(1,1), dtype=float32)

[[11.]]

我们可以看到,运行Session()会话前只打印出y是个张量的提示,运行Session() 会话后打印出了 y 的结果 1.0*3.0 + 2.0*4.0 = 11.0

②:神经网络参数

一:神经网络的参数:是指神经元线上的权重 w,用变量表示,一般会先随机生成 这些参数。生成参数的方法是让w等于tf.Variable,把生成的方式写在括号里。

神经网络中常用的生成随机数/数组的函数有:

举例:

① w=tf.Variable(tf.random_normal([2,3],stddev=2, mean=0, seed=1))

表示生成正态分布随机数,形状两行三列,标准差是 2,均值是 0,随机种子是 1。

② w=tf.Variable(tf.Truncated_normal([2,3],stddev=2, mean=0, seed=1))

表示去掉偏离过大的正态分布,也就是如果随机出来的数据偏离平均值超过两个 标准差,这个数据将重新生成。

③ w=random_uniform(shape=7,minval=0,maxval=1,dtype=tf.int32,seed=1),

表示从一个均匀分布[minval maxval)中随机采样,注意定义域是左闭右开,即 包含 minval,不包含 maxval。

④ 除了生成随机数,还可以生成常量。

tf.zeros([3,2],int32)表示生成 [[0,0],[0,0],[0,0]];

tf.ones([3,2],int32)表示生成[[1,1],[1,1],[1,1];

tf.fill([3,2],6)表示生成[[6,6],[6,6],[6,6]];

tf.constant([3,2,1])表示 生成[3,2,1]。

注意:

①随机种子如果去掉每次生成的随机数将不一致。

②如果没有特殊要求标准差、均值、随机种子是可以不写的。

二、神经网络的搭建

当我们知道张量、计算图、会话和参数后,我们可以讨论神经网络的实现过程了

1:神经网络的实现过程:

1、准备数据集,提取特征,作为输入喂给神经网络(Neural Network,NN)

2、搭建 NN 结构,从输入到输出(先搭建计算图,再用会话执行)

( NN 前向传播算法 ->计算输出)

3、大量特征数据喂给 NN,迭代优化 NN 参数

( NN 反向传播算法 ->优化参数训练模型)

4、使用训练好的模型预测和分类

由此可见,基于神经网络的机器学习主要分为两个过程,即训练过程和使用过程。

训练过程是第一步、第二步、第三步的循环迭代,使用过程是第四步,一旦参数 优化完成就可以固定这些参数,实现特定应用了。 很多实际应用中,我们会先使用现有的成熟网络结构,喂入新的数据,训练相应模型,判断是否能对喂入的从未见过的新数据作出正确响应,再适当更改网络结构,反复迭代,让机器自动训练参数找出最优结构和参数,以固定专用模型。

③:前向传播

前向传播就是搭建模型的计算过程,让模型具有推理能力,可以针对一组输入 给出相应的输出。

举例 假如生产一批零件,体积为 x1,重量为 x2,体积和重量就是我们选择的特征, 把它们喂入神经网络,当体积和重量这组数据走过神经网络后会得到一个输出。

假如输入的特征值是:体积 0.7 重量 0.5

由搭建的神经网络可得,隐藏层节点 a11=x1* w11+x2*w21=0.14+0.15=0.29,同理算得节点 a12=0.32,a13=0.38,最终计算得到输出层 Y=-0.015,这便实现了前向传播过程。

推导:

第一层

X 是输入为 1X2 矩阵

用 x 表示输入,是一个 1 行 2 列矩阵,表示一次输入一组特征,这组特征包含了 体积和重量两个元素。

对于第一层的 w 前面有两个节点,后面有三个节点 w 应该是个两行三列矩阵, 我们这样表示:

神经网络共有几层(或当前是第几层网络)都是指的计算层,输入不是计算层, 所以 a 为第一层网络,a 是一个一行三列矩阵。

我们这样表示:

第二层:

参数要满足前面三个节点,后面一个节点,所以 W (2) 是三行一列矩阵。

我们这样表示:

我们把每层输入乘以线上的权重 w,这样用矩阵乘法可以计算出输出 y 了。

a= tf.matmul(X, W1)

y= tf.matmul(a, W2)

由于需要计算结果,就要用 with 结构实现,所有变量初始化过程、计算过程都 要放到 sess.run 函数 中 。 对于 变 量 初始 化 , 我们 在 sess.run 中 写 入 tf.global_variables_initializer 实现对所有变量初始化,也就是赋初值。对 于计算图中的运算,我们直接把运算节点填入 sess.run 即可,比如要计算输出 y,直接写 sess.run(y) 即可。

在实际应用中,我们可以一次喂入一组或多组输入,让神经网络计算输出 y,可以先用 tf.placeholder 给输入占位。如果一次喂一组数据 shape 的第一维位置写1,第二维位置看有几个输入特征;如果一次想喂多组数据,shape 的第一维 位置可以写 None 表示先空着,第二维位置写有几个输入特征。这样在 feed_dict 中可以喂入若干组体积重量了。

前向传播过程的 tensorflow 描述:

举例 :

这是一个实现神经网络前向传播过程,网络可以自动推理出输出 y 的值。

①用 placeholder 实现输入定义(sess.run 中喂入一组数据)的情况

第一组喂体积 0.7、重量 0.5

④:反向传播

反向传播:训练模型参数,在所有参数上用梯度下降,使 NN 模型在训练数据 上的损失函数最小。

损失函数(loss):计算得到的预测值 y 与已知答案 y_的差距

损失函数的计算有很多方法,均方误差 MSE 是比较常用的方法之一。

均方误差 MSE:求前向传播计算结果与已知答案之差的平方再求平均。

用 tensorflow 函数表示为:

loss_mse = tf.reduce_mean(tf.square(y_ - y))

反向传播训练方法:以减小 loss 值为优化目标,有梯度下降、momentum 优化 器、adam 优化器等优化方法。

这三种优化方法用 tensorflow 的函数可以表示为:

train_step=tf.train.GradientDescentOptimizer(learning_rate).minimize(loss) train_step=tf.train.MomentumOptimizer(learning_rate, momentum).minimize(loss) train_step=tf.train.AdamOptimizer(learning_rate).minimize(loss)

三种优化方法区别如下:

①tf.train.GradientDescentOptimizer()使用随机梯度下降算法,使参数沿着 梯度的反方向,即总损失减小的方向移动,实现更新参数

其中,?(?)为损失函数,?为参数,?为学习率。

②tf.train.MomentumOptimizer()在更新参数时,利用了超参数,参数更新公式是

其中,?为学习率,超参数为?,?为参数,?(??−1 )为损失函数的梯度。

③tf.train.AdamOptimizer()是利用自适应学习率的优化算法,Adam 算法和随 机梯度下降算法不同。随机梯度下降算法保持单一的学习率更新所有的参数,学 习率在训练过程中并不会改变。而 Adam 算法通过计算梯度的一阶矩估计和二 阶矩估计而为不同的参数设计独立的自适应性学习率。

学习率:决定每次参数更新的幅度。

优化器中都需要一个叫做学习率的参数,使用时,如果学习率选择过大会出现震 荡不收敛的情况,如果学习率选择过小,会出现收敛速度慢的情况。我们可以选 个比较小的值填入,比如 0.01、0.001。

三、搭建神经网络的八股

我们最后梳理出神经网络搭建的八股,神经网络的搭建课分四步完成:准备工作、 前向传播、反向传播和循环迭代。

举例

随机产生 32 组生产出的零件的体积和重量,训练 3000 轮,每 500 轮输出一次损 失函数。下面我们通过源代码进一步理解神经网络的实现过程:

0.导入模块,生成模拟数据集;

1:定义神经网络的输入、参数和输出,定义前向传播过程;

2:定义损失函数及反向传播方法

3.生成会话,训练 STEPS 轮

由神经网络的实现结果,我们可以看出,总共训练 3000 轮,每轮从 X 的数据集 和 Y 的标签中抽取相对应的从 start 开始到 end 结束个特征值和标签,喂入神经 网络,用 sess.run 求出 loss,每 500 轮打印一次 loss 值。经过 3000 轮后,我 们打印出最终训练好的参数 w1、w2。

这样四步就可以实现神经网络的搭建了。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能

CNN之“物体检测” 篇

北京 上海巡回站 | NVIDIA DLI深度学习培训 2018年1月26/1月12日 ? NVIDIA 深度学习学院 带你快速进入火热的DL领域 正文共344...

21910
来自专栏人工智能LeadAI

CNN 之物体检测篇

RCNN Rich feature hierarchies for accurate object detection and semantic segment...

3457
来自专栏智能算法

深度学习三人行(第3期)---- TensorFlow从DNN入手

1482
来自专栏鸿的学习笔记

Understanding Convolution in Deep Learning(二)

我们现在有一个非常好的直觉,卷积是什么,以及卷积网中发生了什么,为什么卷积网络是如此强大。 但我们可以深入了解卷积运算中真正发生的事情。我们将看到计算卷积的原始...

562
来自专栏数据派THU

一文读懂支持向量积核函数(附公式)

来源:jerrylead 本文通过多个例子为你介绍支持向量积核函数,助你更好地理解。 核函数(Kernels) 考虑我们最初在“线性回归”中提出的问题,特征是房...

42814
来自专栏人工智能

人工智能AI(3):线性代数之向量和矩阵的范数

在实数域中,数的大小和两个数之间的距离是通过绝对值来度量的。在解析几何中,向量的大小和两个向量之差的大小是“长度”和“距离”的概念来度量的。为了对矩阵运算进行数...

3988
来自专栏人工智能LeadAI

ResNet原理及其在TF-Slim中的实现

摘要 微软的深度残差网络ResNet源于2016年CVPR最佳论文---图像识别中的深度残差学习(Deep Residual Learning for Imag...

4244
来自专栏云时之间

Tensorflow 笔记:搭建神经网络

用张量表示数据,用计算图搭建神经网络,用会话执行计算图,优化线上的权重(参数),得到模型。

3945
来自专栏机器之心

教程 | 基础入门:深度学习矩阵运算的概念和代码实现

选自Medium 机器之心编译 参与:蒋思源 本文从向量的概念与运算扩展到矩阵运算的概念与代码实现,对机器学习或者是深度学习的入门者提供最基础,也是最实用的教...

40413
来自专栏PaddlePaddle

【序列到序列学习】使用Scheduled Sampling改善翻译质量

生成古诗词 序列到序列学习实现两个甚至是多个不定长模型之间的映射,有着广泛的应用,包括:机器翻译、智能对话与问答、广告创意语料生成、自动编码(如金融画像编码)...

6195

扫码关注云+社区