深度学习与TensorFlow:实现卷积神经网络

在上一篇文章,我们介绍了CNN的一些基本概念和lenet神经网络的架构,今天这一篇文章我们就模仿lenet网络去微调,使其符合mnist数据集的要求,并且达到我们练手的目的.

因为mnist的数据集的图片大小为28*28*1的灰度图片,而lenet神经网络是32*32*1的输入,因此我们将其微调,结构如下:

1:输入层:输入层为28*28*1的灰度图片,单通道输入,如果后续有小伙伴想实现彩色图像的识别,这里可以改变下通道的数量(通常为3,RGB)

2:进行卷积,卷积核大小为5*5*1,数量为32个,并且使用全零填充

3:进行非线性激活

4:进行池化层操作,池化层大小为2*2大小,步长为2

5:进行卷积,卷积核为5*5*32,而核个数为64,步长为1

6:进行非线性激活

7:进行池化层操作,池化大小为2*2,步长为2,全零填充

8:喂入全连接层

这样我们就基本构建好了我们的卷积神经网络架构,其中当中的一些参数,比如核个数,步长,大家都可以自己研究下如何选取,并且实验更换下其他的数据,是否会有更好的结果.

接下来就是代码的实现部分,我们的代码分为3个部分,跟我们之前的全连接神经网络类似,分别是前向传播,反向传播,测试过程,接下来我们一个一个的跟着代码滤清思路.

1:前向传播过程

首先,代码如下:

在上述代码中,我们先将网络中的参数和偏置进行初始化,并且定义好卷积,池化层的结构.

在get_weight和get_bias函数中,我们定义的方式和全连接网络一致,目的同样使用随机数生成,同样使用l2正则化来去减少误差.

在conv2d函数中,我们定义了卷积层,我们在TensorFlow中直接使用tf.nn.con2d()这个函数就可以,他的结构如下:

举个例子;

tf.nn.conv2d(x=[100,28,28,1],w=[5,5,1,6],strides=[1,1,1,1],padding='SAME')

这个其实就是说我们输入的图像是一个28*28*1的图像,一个batch_size=100,卷积和的大小是5*5,卷积核的个数是6,垂直方向步长为 1，水平方向步长为 1，填充方式为全零填充。

在max_pool_2*2()这个函数中,我们定义了池化层,同样我们也使用了TensorFlow中的tf.nn.nax_pool这个函数,这个函数的结构如下:

举个例子:

tf.nn.max_pool(x=[100,28,28,1],ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')

这个例子说明表示卷积输入 x 为 28*28*1，一个 batch_size 为 100，池化核大小用 ksize， 第一维和第四维都为 1，池化核大小为 2*2，垂直方向步长为 1，水平方向步长 为 1，填充方式为全零填充。

在上述代码中,我们定义了前向传播的过程

具体的过程有以下几步:

一:第一层卷积

1:根据先前定义的参数大小，初始化第一层卷积核和偏置项

2:实现卷积运算，输入参数为 x 和第一层卷积核参数。

3:第一层卷积的输出值作为非线性激活函数的输入值，首先通过 tf.nn.bias_add() 对卷积后的输出添加偏置，并过 tf.nn.relu()完成非线性激活。

4:根据先前定义的池化函数，将第一层激活后的输出值进行最大池化 。

二:第二层卷积

1:初始化第二层卷积层的变量和偏置项，该层每个卷积核的通道数要与上一层 卷积核的个数一致。

2:实现卷积运算，输入参数为上一层的输出 pool1 和第二层卷积核参数。

3:实现第二层非线性激活函数。

4:根据先前定义的池化函数，将第二层激活后的输出值进行最大池化。

三:将第二层池化层的输出 pool2 矩阵转化为全连接层的输入格式即向量形式

1:根据.get_shape()函数得到 pool2 输出矩阵的维度，并存入 list 中。

2:从 list 中依次取出矩阵的长宽及深度，并求三者的乘积，得到矩阵被拉长后的 长度。

3:将 pool2 转换为一个 batch 的向量再传入后续的全连接。

四:实现第三层全连接层

1:初始化全连接层的权重，并加入正则化。

2:初始化全连接层的偏置项。

3:将转换后的 reshaped 向量与权重 fc1_w 做矩阵乘法运算，然后再加上偏置，最 后再使用 relu 进行激活。

五:实现第四层全连接层的前向传播过程：

1:初始化全连接层对应的变量。

2:将转换后的 reshaped 向量与权重 fc2_w 做矩阵乘法运算，然后再加上偏置。

3:返回输出值有，完成整个前向传播过程，从而实现对 Mnist 数据集的 10 分类。

二:反向传播代码

反向传播的代码跟之前我们在之前实现全连接神经网络的代码基本一致,逻辑也基本相似,有兴趣的同学可以看看之前的文章

三:测试代码

四:运行实现

1:运行反向传播代码

我们发现loss不断降低

2:运行测试代码:

在1000步的模型中,准确率达到了94%,这个数字随着模型训练次数的不断增加是不断增长的,因此我们来看,之前我们用全连接网络,训练几万次才打到这个准确率,现在用CNN只需要一千步就可以达到这个效果,因此CNN的作用还是很大的.

并且如果有兴趣的同学还可以根据这个模型结合之前的全连接神经网络的内容进行修改,比如加上自制输入集测试功能,加上自制训练集测试机进行训练等等,再或者实现彩色图像识别功能等等.