卷积核3x3 vs 7x7

感受野

感受野：原指听觉、视觉等神经系统中一些神经元的特性，即 神经元只接受其所支配的刺激区域内的信号。在视觉神经系统中，视觉皮层中神经细胞的输出依赖于视网膜上的光感受器。当光感受器受刺激兴奋时，会将神经冲动信号传导至视觉皮层。不过需指出并不是所有神经皮层中的神经元都会接受这些信号。正是由于感受野等功能结构在猫的视觉中枢中的发现，催生了福岛邦彦提出多卷积和子采样操作的多层神经网络。

卷积核：3x3 vs 7x7

而现代卷积神经网络中的感受野又是怎样一回事?我们慢慢道来。先以单层卷积操作为例，如图是一个7×7，步长为1的卷积操作，对后层的每一个输出神经元(如紫色区域)来说，它的前层感受野即为黄色区域，可以发现，这与神经系统的感受野定义大同小异。不过，由于现代卷积神经网络拥有多层甚至超多层卷积操作，随着网络深度的加深，后层神经元在第一层输入层 的感受野会随之增大。如图所示为3 × 3，步长为1的卷积操作，同单层卷积操作一样，相邻两层中后层神经元在前层的感受野仅为 3 × 3，但随着卷积操作的叠加，第 L+3 层的神经元在第 L 层的感受野可扩增至7 × 7。

也就是说，小卷积核(如3×3)通过多层叠加可取得与大卷积核(如 7×7) 同等规模的感受野，此外采用小卷积核同时可带来其余两个优势:

• 第一，由于小卷积核需多层叠加，加深了网络深度进而增强了网络容量和复杂度;
• 第二，增强网络容量的同时减少了参数个数；

若假设上述示例中卷积核对应的输入输出特征张量的深度均为 C，则 7×7 卷 积核对应参数有 C×(7×7×C) = 49C^2 个。而三层3×3卷积核堆叠只需三倍单层3×3卷积核个数的参数，即 3×[C × (3 × 3 × C)] = 27C^2，远小于 7×7卷积核的参数个数。

附录：

• 网络容量：神经网络的假设空间；
• 假设空间：指一个机器学习算法可以生成的所有函数的集合。这个函数集合就代表了一个机器学习算法的拟合能力。

摘自：

• 魏秀参：解析卷积神经网络