专栏首页深度学习与计算机视觉如何理解卷积神经网络中的1*1卷积

如何理解卷积神经网络中的1*1卷积

我们都知道,卷积核的作用在于特征的抽取,越是大的卷积核尺寸就意味着更大的感受野,当然随之而来的是更多的参数。早在1998年,LeCun大神发布的LetNet-5模型中就会出,图像空域内具有局部相关性,卷积的过程是对局部相关性的一种抽取。 但是在学习卷积神经网络的过程中,我们常常会看到一股清流般的存在—1*1的卷积!

比如在残差网络的直连里:

残差网络的Bootleneck残差模块里:

在GoogleNet的Inception模块里:

都有1*1卷积核的出现,那么它到底是做什么的?我们应该如何理解1*1卷积的原理?

当1*1卷积出现时,在大多数情况下它作用是升/降特征的维度,这里的维度指的是通道数(厚度),而不改变图片的宽和高。

举个例子,比如某次卷积之后的结果是W*H*6的特征,现在需要用1*1的卷积核将其降维成W*H*5,即6个通道变成5个通道: 如下图就是一个W*H*6的特征,而1*1的卷积核在图上标出,卷积核自身的厚度也是6(图画的好难看!!)

通过一次卷积操作,W*H*6将变为W*H*1,这样的话,使用5个1*1的卷积核,显然可以卷积出5个W*H*1,再做通道的串接操作,就实现了W*H*5。 在这里先计算一下参数数量,一遍后面说明,5个卷积核,每个卷积核的尺寸是1*1*6,也就是一种有30个参数。

我们还可以用另一种角度去理解1*1卷积,可以把它看成是一种全连接,如下图:

第一层有6个神经元,分别是a1—a6,通过全连接之后变成5个,分别是b1—b5,第一层的六个神经元要和后面五个实现全连接,本图中只画了a1—a6连接到b1的示意,可以看到,在全连接层b1其实是前面6个神经元的加权和,权对应的就是w1—w6,到这里就很清晰了: 第一层的6个神经元其实就相当于输入特征里面那个通道数:6,而第二层的5个神经元相当于1*1卷积之后的新的特征通道数:5。 w1—w6是一个卷积核的权系数,如何要计算b2—b5,显然还需要4个同样尺寸的核。

最后一个问题,图像的一层相比于神经元还是有区别的,这在于是一个2D矩阵还是一个数字,但是即便是一个2D矩阵的话也还是只需要一个参数(1*1的核),这就是因为参数的权值共享

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 理解图像卷积操作的意义

    在图像处理领域,我们经常能听到滤波,卷积之类的词,其实他们都可以看做一种图像的卷积操作,相对应的卷积核,卷积模板,滤波器,滤波模板,扫描窗其实也都是同一个东西。...

    chaibubble
  • 如何理解扩张卷积(dilated convolution)

    扩张卷积(Dilated Convolution)也被称为空洞卷积或者膨胀卷积,是在标准的卷积核中注入空洞,以此来增加模型的感受野(reception fiel...

    chaibubble
  • 从AlexNet理解卷积神经网络的一般结构

    2012年AlexNet在ImageNet大赛上一举夺魁,开启了深度学习的时代,虽然后来大量比AlexNet更快速更准确的卷积神经网络结构相继出现,但是Alex...

    chaibubble
  • 卷积有多少种?一文读懂深度学习中的各种卷积

    如果你听说过深度学习中不同种类的卷积(比如 2D / 3D / 1x1 /转置/扩张(Atrous)/空间可分/深度可分/平展/分组/混洗分组卷积),并且搞不清...

    机器之心
  • 通道洗牌、变形卷积核、可分离卷积?盘点卷积神经网络中十大令人拍案叫绝的操作。

    CNN从2012年的AlexNet发展至今,科学家们发明出各种各样的CNN模型,一个比一个深,一个比一个准确,一个比一个轻量。我下面会对近几年一些具有变革性的工...

    用户1332428
  • CVPR 2020丨动态卷积:自适应调整卷积参数,显著提升模型表达能力

    编者按:轻量级卷积神经网络能够在较低的计算预算下运行,却也牺牲了模型性能和表达能力。对此,微软 AI 认知服务团队提出了动态卷积,与传统的静态卷积(每层单个卷积...

    深度学习技术前沿公众号博主
  • 猫工智能:卷积神经网络层的实现

    卷积神经网络在 20 世纪 90 年代就已经被广泛应用,但深度学习卷土重来的第一功臣非卷积神经网络莫属,原因之一就是卷积神经网络是非常适合计算机视觉应用的模型。

    博文视点Broadview
  • CVPR2020 | SCNet:自校正卷积网络,无复杂度增加换来性能提升

    论文地址:http://mftp.mmcheng.net/Papers/20cvprSCNet.pdf

    AI算法修炼营
  • 深度卷积神经网络VGG 学习笔记

    VGGNet是2014年 ImageNet Large-ScaleVisual Recognition Challenge(ILSVRC)竞赛的第二名实现的卷积...

    Natalia_ljq
  • 深度学习系列(一)常见的卷积类型

    人工智能的发展突飞猛进,主要得益于深度卷积神经网络,其在计算机视觉领域取得了巨大的成就,卷积神经网络依靠卷积操作对输入图像进行特征提取,卷积是一种线性的、具有平...

    Minerva

扫码关注云+社区

领取腾讯云代金券