01
—
回顾
昨天介绍了CNN的卷积操作,能减少权重参数的个数,卷积操作涉及到三个超参数:
还有一种运算,叫做求内积,关于这部分的总结,请参考:
下面,阐述CNN剩下的两种操作,ReLU,Pooling。
02
—
ReLU操作
CNN用的激活函数不是Sigmoid函数,大家都知道Sigmoid函数最大的问题是随着深度学习会出现梯度消失,这样会导致最后的收敛速度变得很慢,经过实践证明,采取另外一个函数,性能会更好些,这就是 ReLU 函数,它长这样:
可以看出在 x 大于 0 时,它是线性函数,在 x 小于 0 时,它是非线性的函数,因此ReLu综合起来看为非线性函数。
ReLU函数对CNN的实际意义
可以看出CNN中的卷积操作是线性操作,对应元素相乘,然后再求和,又知道在现实世界中,大部分的数据都是非线性的,所以有必要引入一个非线性的激活函数,下面通过ReLU操作看下对图片的影响:
原图像
左图为对原图像卷积后的图像,右图为ReLU后的图像,对于单通道图上取值范围为0-255,其中255为白色,0是黑色,因为卷积后的结果有可能为负值,所以经过ReLU后,所有的值为非负值,不再出现有问题的负值。
03
—
Pooling层
Pooling层能起到降低上一层输入的特征的维数的作用,但是同时能保持其最重要的信息,Pooling操作分多种:最大池化,平均池化,求和池化等。
以最大池化为例,池化一般在ReLU操作之后,首先定义一个相邻区域,然后求出这个区域的最大值,再选定一个步长,依次遍历完图像,如下图所示:
Pooling 操作的实际意义
04
—
CNN总结
至此已经介绍完了CNN使用的核心技术,如果将卷积操作,ReLU操作,Pooling操作结合起来,我们可以得到如下深度网络,可以看出共进行了2次卷积和池化,完成对输入的图像的特征提取,接下来就是全连接层,所谓的全连接层与之前说的DNN(全连接多层神经网络)是一致的,大家可以参考之前的推送复习多层感知器。
经过全连接层,会使用前一层提取的所有主要特征,使用一般的均值方差作为损失函数,在输出层可以使用softmax分类器完成多分类任务。可以看出预测的结果为一只船,这是合理的。
下面总结下CNN的算法:
本文分享自 程序员郭震zhenguo 微信公众号,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!