深度学习与TensorFlow:实现卷积神经网络

在上一篇文章,我们介绍了CNN的一些基本概念和lenet神经网络的架构,今天这一篇文章我们就模仿lenet网络去微调,使其符合mnist数据集的要求,并且达到我们练手的目的.

因为mnist的数据集的图片大小为28*28*1的灰度图片,而lenet神经网络是32*32*1的输入,因此我们将其微调,结构如下:

1:输入层:输入层为28*28*1的灰度图片,单通道输入,如果后续有小伙伴想实现彩色图像的识别,这里可以改变下通道的数量(通常为3,RGB)

2:进行卷积,卷积核大小为5*5*1,数量为32个,并且使用全零填充

3:进行非线性激活

4:进行池化层操作,池化层大小为2*2大小,步长为2

5:进行卷积,卷积核为5*5*32,而核个数为64,步长为1

6:进行非线性激活

7:进行池化层操作,池化大小为2*2,步长为2,全零填充

8:喂入全连接层

这样我们就基本构建好了我们的卷积神经网络架构,其中当中的一些参数,比如核个数,步长,大家都可以自己研究下如何选取,并且实验更换下其他的数据,是否会有更好的结果.

接下来就是代码的实现部分,我们的代码分为3个部分,跟我们之前的全连接神经网络类似,分别是前向传播,反向传播,测试过程,接下来我们一个一个的跟着代码滤清思路.

1:前向传播过程

首先,代码如下:

在上述代码中,我们先将网络中的参数和偏置进行初始化,并且定义好卷积,池化层的结构.

在get_weight和get_bias函数中,我们定义的方式和全连接网络一致,目的同样使用随机数生成,同样使用l2正则化来去减少误差.

在conv2d函数中,我们定义了卷积层,我们在TensorFlow中直接使用tf.nn.con2d()这个函数就可以,他的结构如下:

举个例子;

tf.nn.conv2d(x=[100,28,28,1],w=[5,5,1,6],strides=[1,1,1,1],padding='SAME')

这个其实就是说我们输入的图像是一个28*28*1的图像,一个batch_size=100,卷积和的大小是5*5,卷积核的个数是6,垂直方向步长为 1,水平方向步长为 1,填充方式为全零填充。

在max_pool_2*2()这个函数中,我们定义了池化层,同样我们也使用了TensorFlow中的tf.nn.nax_pool这个函数,这个函数的结构如下:

举个例子:

tf.nn.max_pool(x=[100,28,28,1],ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')

这个例子说明表示卷积输入 x 为 28*28*1,一个 batch_size 为 100,池化核大小用 ksize, 第一维和第四维都为 1,池化核大小为 2*2,垂直方向步长为 1,水平方向步长 为 1,填充方式为全零填充。

在上述代码中,我们定义了前向传播的过程

具体的过程有以下几步:

一:第一层卷积

1:根据先前定义的参数大小,初始化第一层卷积核和偏置项

2:实现卷积运算,输入参数为 x 和第一层卷积核参数。

3:第一层卷积的输出值作为非线性激活函数的输入值,首先通过 tf.nn.bias_add() 对卷积后的输出添加偏置,并过 tf.nn.relu()完成非线性激活。

4:根据先前定义的池化函数,将第一层激活后的输出值进行最大池化 。

二:第二层卷积

1:初始化第二层卷积层的变量和偏置项,该层每个卷积核的通道数要与上一层 卷积核的个数一致。

2:实现卷积运算,输入参数为上一层的输出 pool1 和第二层卷积核参数。

3:实现第二层非线性激活函数。

4:根据先前定义的池化函数,将第二层激活后的输出值进行最大池化。

三:将第二层池化层的输出 pool2 矩阵转化为全连接层的输入格式即向量形式

1:根据.get_shape()函数得到 pool2 输出矩阵的维度,并存入 list 中。

2:从 list 中依次取出矩阵的长宽及深度,并求三者的乘积,得到矩阵被拉长后的 长度。

3:将 pool2 转换为一个 batch 的向量再传入后续的全连接。

四:实现第三层全连接层

1:初始化全连接层的权重,并加入正则化。

2:初始化全连接层的偏置项。

3:将转换后的 reshaped 向量与权重 fc1_w 做矩阵乘法运算,然后再加上偏置,最 后再使用 relu 进行激活。

五:实现第四层全连接层的前向传播过程:

1:初始化全连接层对应的变量。

2:将转换后的 reshaped 向量与权重 fc2_w 做矩阵乘法运算,然后再加上偏置。

3:返回输出值有,完成整个前向传播过程,从而实现对 Mnist 数据集的 10 分类。

二:反向传播代码

反向传播的代码跟之前我们在之前实现全连接神经网络的代码基本一致,逻辑也基本相似,有兴趣的同学可以看看之前的文章

三:测试代码

四:运行实现

1:运行反向传播代码

我们发现loss不断降低

2:运行测试代码:

在1000步的模型中,准确率达到了94%,这个数字随着模型训练次数的不断增加是不断增长的,因此我们来看,之前我们用全连接网络,训练几万次才打到这个准确率,现在用CNN只需要一千步就可以达到这个效果,因此CNN的作用还是很大的.

并且如果有兴趣的同学还可以根据这个模型结合之前的全连接神经网络的内容进行修改,比如加上自制输入集测试功能,加上自制训练集测试机进行训练等等,再或者实现彩色图像识别功能等等.

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能LeadAI

译文 | 与TensorFlow的第一次接触 第五章:多层神经网络

本章中,我们继续使用之前章节中的MNIST数字识别问题,与读者一起编码实现一个简单的深度学习神经网络。 如我们所了解的,一个深度学习神经网络由相互叠加的多层组成...

35140
来自专栏AI研习社

SSD: Single Shot MultiBox Detector 深度学习笔记之SSD物体检测模型

算法概述 本文提出的SSD算法是一种直接预测目标类别和bounding box的多目标检测算法。 与faster rcnn相比,该算法没有生成 propos...

73870
来自专栏技术沉淀

02 Learning to Answer Yes/No

从最简单最基础的二分类问题出发,演示一个简单机器学习算法PLA的完整过程,见详细课件。

9620
来自专栏机器学习养成记

聚类(三):KNN算法(R语言)

k最临近(KNN)算法是最简单的分类算法之一,属于有监督的机器学习算法。 算法流程 KNN的核心思想是:找出特征空间中距离待分类点最近的k个点,如果这k个点大多...

47070
来自专栏专知

使用SSD进行目标检测:目标检测第二篇

【导读】近日,CV-Tricks.com发布了一篇文章,使用SSD进行目标检测,SSD是当前最流行的目标检测算法之一。作者从检测的基本概念、滑动窗口检测、减少滑...

60750
来自专栏开心的学习之路

神经网络体系搭建(三)——卷积神经网络

本篇是神经网络体系搭建的第三篇,解决体系搭建的卷积神经网络相关问题,详见神经网络体系搭建(序) 卷积神经网络(CNN) ? CNN是什么 卷积神经网络是一种空间...

41580
来自专栏量子位

一文了解各种卷积结构原理及优劣

王小新 编译自 Medium 量子位 出品 | 公众号 QbitAI 卷积神经网络作为深度学习的典型网络,在图像处理和计算机视觉等多个领域都取得了很好的效果。 ...

40460
来自专栏云时之间

深度学习与TensorFlow:实现卷积神经网络

在上一篇文章,我们介绍了CNN的一些基本概念和lenet神经网络的架构,今天这一篇文章我们就模仿lenet网络去微调,使其符合mnist数据集的要求,并且达到我...

17640
来自专栏Soul Joy Hub

《深度学习Ng》课程学习笔记04week1——卷积神经网络

http://blog.csdn.net/u011239443/article/details/79057016 1.1 计算机视觉 计算机视觉领域的问题 图片...

29940
来自专栏null的专栏

简单易学的机器学习算法——在线顺序极限学习机OS-ELM

   这篇文章主要是前面整理的,就直接上图了。 ? ? ? ? ? ? ? 实验: # coding:UTF-8 ################# # OS_...

1.7K50

扫码关注云+社区

领取腾讯云代金券