汇合层

深度学习基础理论-CNN篇

汇合层

图 卷积神经网络第 L 层输入xl 示意图

本节讨论第L 层操作为汇合（pooling）时的情况。通常使用的汇合操作为平均值汇合（average-pooling）和最大值汇合（max-pooling），需要指出的是，同卷积层操作不同，汇合层不包含需要学习的参数。使用时仅需指定汇合类型（average或max等）、汇合操作的核大小（kernel size）和汇合操作的步长（stride）等超参数即可。

01

什么是汇合？

第L 层汇合核可表示为pl ∈ RH×W×Dl。平均值（最大值）汇合在每次操作时，将汇合核覆盖区域中所有值的平均值（最大值）作为汇合结果，即：

除了最常用的上述两种汇合操作外，随机汇合（stochastic-pooling）则介于二者之间。随机汇合操作非常简单，只需对输入数据中的元素按照一定概率值大小随机选择，并不像最大值汇合那样永远只取那个最大值元素。对随机汇合而言，元素值大的响应（activation）被选中的概率也大，反之易然。可以说，在全局意义上，随机汇合与平均值汇合近似；在局部意义上，则服从最大值汇合的准则。

图 最大值汇合操作示例

02

汇合操作的作用

在上图的例子中可以发现，汇合操作后的结果相比其输入降小了，其实汇合操作实际上就是一种“降采样”（down-sampling）操作。另一方面，汇合也看成是一个用p-范数（p-norm）作为非线性映射的“卷积”操作，特别的，当p 趋近正无穷时就是最常见的最大值汇合。

汇合层的引入是仿照人的视觉系统对视觉输入对象进行降维（降采样）和抽象。在卷积神经网络过去的工作中，研究者普遍认为汇合层有如下三种功效：

• 特征不变性（feature invariant）。汇合操作使模型更关注是否存在某些特征而不是特征具体的位置。可看作是一种很强的先验，使特征学习包含某种程度自由度，能容忍一些特征微小的位移。
• 特征降维。由于汇合操作的降采样作用，汇合结果中的一个元素对应于原输入数据的一个子区域（sub-region），因此汇合相当于在空间范围内做了维度约减（spatially dimension reduction），从而使模型可以抽取更广范围的特征。同时减小了下一层输入大小，进而减小计算量和参数个数。
• 在一定程度防止过拟合（overfitting），更方便优化。不过，汇合操作并不是卷积神经网络必须的元件或操作。近期，德国著名高校弗赖堡大学的研究者提出用一种特殊的卷积操作（即，stride convolutional layer）来代替汇合层实现降采样，进而构建一个只含卷积操作的网络（all convolution nets），其实验结果显示这种改造的网络可以达到、甚至超过传统卷积神经网络（卷积层汇合层交替）的分类精度。

end