卷积核3x3 vs 7x7

感受野

感受野:原指听觉、视觉等神经系统中一些神经元的特性,即 神经元只接受其所支配的刺激区域内的信号。在视觉神经系统中,视觉皮层中神经细胞的输出依赖于视网膜上的光感受器。当光感受器受刺激兴奋时,会将神经冲动信号传导至视觉皮层。不过需指出并不是所有神经皮层中的神经元都会接受这些信号。正是由于感受野等功能结构在猫的视觉中枢中的发现,催生了福岛邦彦提出多卷积和子采样操作的多层神经网络。

卷积核:3x3 vs 7x7

而现代卷积神经网络中的感受野又是怎样一回事?我们慢慢道来。先以单层卷积操作为例,如图是一个7×7,步长为1的卷积操作,对后层的每一个输出神经元(如紫色区域)来说,它的前层感受野即为黄色区域,可以发现,这与神经系统的感受野定义大同小异。不过,由于现代卷积神经网络拥有多层甚至超多层卷积操作,随着网络深度的加深,后层神经元在第一层输入层 的感受野会随之增大。如图所示为3 × 3,步长为1的卷积操作,同单层卷积操作一样,相邻两层中后层神经元在前层的感受野仅为 3 × 3,但随着卷积操作的叠加,第 L+3 层的神经元在第 L 层的感受野可扩增至7 × 7。

也就是说,小卷积核(如3×3)通过多层叠加可取得与大卷积核(如 7×7) 同等规模的感受野,此外采用小卷积核同时可带来其余两个优势:

  • 第一,由于小卷积核需多层叠加,加深了网络深度进而增强了网络容量和复杂度;
  • 第二,增强网络容量的同时减少了参数个数;

若假设上述示例中卷积核对应的输入输出特征张量的深度均为 C,则 7×7 卷 积核对应参数有 C×(7×7×C) = 49C^2 个。而三层3×3卷积核堆叠只需三倍单层3×3卷积核个数的参数,即 3×[C × (3 × 3 × C)] = 27C^2,远小于 7×7卷积核的参数个数。

附录:

  • 网络容量:神经网络的假设空间;
  • 假设空间:指一个机器学习算法可以生成的所有函数的集合。这个函数集合就代表了一个机器学习算法的拟合能力。

摘自:

  • 魏秀参:解析卷积神经网络

原文发布于微信公众号 - AI科技时讯(aiblog_research)

原文发表时间:2019-03-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券