卷积层

深度学习基础理论-CNN篇

卷积层

卷积层(convolution layer)是卷积神经网络中的基础操作,甚至在网络最后起分类作用的全连接层在工程实现时也是由卷积操作替代的。

01

什么是卷积层

卷积运算实际是分析数学中的一种运算方式,在卷积神经网络中通常是仅涉及离散卷积的情形。下面以dl = 1 的情形为例介绍二维场景的卷积操作。假设输入图像(输入数据)为下图中右侧的5×5 矩阵,其对应的卷积核(亦称卷积参数)为一个3 × 3 的矩阵。同时,假定卷积操作时每做一次卷积,卷积核移动一个像素位置,即卷积步长(stride)为1。

第一次卷积操作从图像(0, 0) 像素开始,由卷积核中参数与对应位置图像像素逐位相乘后累加作为一次卷积操作结果,即1 × 1 + 2 × 0 + 3 × 1 + 6 × 0 +7 × 1 + 8 × 0 + 9 × 1 + 8 × 0 + 7 × 1 = 1 + 3 + 7 + 9 + 7 = 27,如下图a所示。类似地,在步长为1时,如图b至图d所示,卷积核按照步长大小在输入图像上从左至右自上而下依次将卷积操作进行下去,最终输出3 × 3 大小的卷积特征,同时该结果将作为下一层操作的输入。

与之类似,若三维情形下的卷积层l 的输入张量为xl ∈ RHl×Wl×Dl,该层卷积核为fl ∈ RH×W×Dl。三维输入时卷积操作实际只是将二维卷积扩展到了对应位置的所有通道上(即Dl),最终将一次卷积处理的所有HWDl 个元素求和作为该位置卷积结果。

进一步地,若类似fl 这样的卷积核有D 个,则在同一个位置上可得到1×1×1×D 维度的卷积输出,而D 即为第l+1 层特征xl+1 的通道数Dl+1。形式化的卷积操作可表示为:

其中,(il+1, jl+1) 为卷积结果的位置坐标,满足下式:

需指出的是,式中的fi,j,dl,d 可视作学习到的权重,可以发现该项权重对不同位置的所有输入都是相同的,这便是卷积层“权值共享”特性。除此之外,通常还会在yil+1,jl+1,d 上加入偏置项bd。在误差反向传播时可针对该层权重和偏置项分别设置随机梯度下降的学习率。当然根据实际问题需要,也可以将某层偏置项设置为全0,或将学习率设置为0,以起到固定该层偏置或权重的作用。此外,卷积操作中有两个重要的超参数:卷积核大小和卷积步长。合适的超参数设置会对最终模型带来理想的性能提升。

02

卷积操作的作用

可以看出卷积是一种局部操作,通过一定大小的卷积核作用于局部图像区域获得图像的局部信息。以三种边缘卷积核(亦可称为滤波器)来说明卷积神经网络中卷积操作的作用。如下图:

我们在原图上分别作用整体边缘滤波器、横向边缘滤波器和纵向边缘滤波器,这三种滤波器(卷积核)分别为式中的3 × 3 大小卷积核Ke,Kh和Kv:

试想,若原图像素(x, y) 处可能存在物体边缘,则其四周(x−1, y),(x+1, y),(x, y − 1),(x, y + 1) 处像素值应与(x, y) 处有显著差异。此时,如作用以整体边缘滤波器Ke,可消除四周像素值差异小的图像区域而保留显著差异区域,以此可检测出物体边缘信息。同理,类似Kh和Kv3的横向、纵向边缘滤波器可分别保留横向、纵向的边缘信息。

事实上,卷积网络中的卷积核参数是通过网络训练学出的,除了可以学到类似的横向、纵向边缘滤波器,还可以学到任意角度的边缘滤波器。当然,不仅如此,检测颜色、形状、纹理等等众多基本模式的滤波器(卷积核)都可以包含在一个足够复杂的深层卷积神经网络中。通过“组合”这些滤波器(卷积核)以及随着网络后续操作的进行,基本而一般的模式会逐渐被抽象为具有高层语义的“概念”表示,并以此对应到具体的样本类别。颇有“盲人摸象”后,将各自结果集大成之意。

end

本文分享自微信公众号 - PaddlePaddle(PaddleOpenSource)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-04-08

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 卷积神经网络的经典结构(一)

    正文部分系《解析卷积神经网络——深度学习实践手册》基础理论篇部分,本次将详细介绍卷积神经网络中经典结构,小结部分将前述的基础理论篇的讲解链接附上,方便大家进行参...

    用户1386409
  • 全连接层&目标函数

    用户1386409
  • 【AI核心技术】课程九:卷积网络深入理解

    UAI与PaddlePaddle联合推出的【AI核心技术掌握】系列课程持续更新中!

    用户1386409
  • 轻量级神经网络MobileNet,从V1到V3

    zhuanlan.zhihu.com/c_1113861154916601856

    SIGAI学习与实践平台
  • 思考: 根据 图片数据集 规律性 灵活设计 卷积结构

    先用 大卷积核 对输入的整张 feature map 进行第一轮的常规卷积:

    JNingWei
  • 深度学习: 感受野 (receptive field)

    感受野的计算 主要与 卷积层 和 池化层 的 窗口大小 (size)、移动步长 (stride) 以及 填充 (padding) 有关。

    JNingWei
  • [深度学习]Charpter 9:卷积网络

    卷积网络convolutional network,也叫做卷积神经网络convolutional neural network CNN 专门用来处理类似网格结构...

    wOw
  • 深度学习(二)神经网络中的卷积和反卷积原理

    原文地址:https://www.cnblogs.com/DOMLX/p/9579392.html

    徐飞机
  • 推荐 | 深度学习反卷积最易懂理解

    普通图像反卷积,跟深度学习中的反卷积是一回事吗?别傻傻分不清!其实它们根本不是一个概念

    OpenCV学堂
  • 深度学习-卷积神经网络原理

    卷积神经网络又称作(ConvNet, CNN),它的出现解决了人工智能图像识别的难题,图像识别数据量大,并且在识别的过程中很难保留原有的信息,因此卷积的作用就体...

    用户7760819

扫码关注云+社区

领取腾讯云代金券