深度学习基础理论-CNN篇
汇合层
图 卷积神经网络第 L 层输入xl 示意图
本节讨论第L 层操作为汇合(pooling)时的情况。通常使用的汇合操作为平均值汇合(average-pooling)和最大值汇合(max-pooling),需要指出的是,同卷积层操作不同,汇合层不包含需要学习的参数。使用时仅需指定汇合类型(average或max等)、汇合操作的核大小(kernel size)和汇合操作的步长(stride)等超参数即可。
01
什么是汇合?
第L 层汇合核可表示为pl ∈ RH×W×Dl。平均值(最大值)汇合在每次操作时,将汇合核覆盖区域中所有值的平均值(最大值)作为汇合结果,即:
除了最常用的上述两种汇合操作外,随机汇合(stochastic-pooling)则介于二者之间。随机汇合操作非常简单,只需对输入数据中的元素按照一定概率值大小随机选择,并不像最大值汇合那样永远只取那个最大值元素。对随机汇合而言,元素值大的响应(activation)被选中的概率也大,反之易然。可以说,在全局意义上,随机汇合与平均值汇合近似;在局部意义上,则服从最大值汇合的准则。
图 最大值汇合操作示例
02
汇合操作的作用
在上图的例子中可以发现,汇合操作后的结果相比其输入降小了,其实汇合操作实际上就是一种“降采样”(down-sampling)操作。另一方面,汇合也看成是一个用p-范数(p-norm)作为非线性映射的“卷积”操作,特别的,当p 趋近正无穷时就是最常见的最大值汇合。
汇合层的引入是仿照人的视觉系统对视觉输入对象进行降维(降采样)和抽象。在卷积神经网络过去的工作中,研究者普遍认为汇合层有如下三种功效:
end
本文分享自 PaddlePaddle 微信公众号,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!