李宏毅深度学习之Deep Learning 卷积/池化

4卷积/池化结构

卷积/池化层的设计目的也是为了简化我们的神经网络。所需的参数量比全连接层要少。

ConvolutionKernel 具有的一个属性就是局部性，即它只关注局部特征，局部的程度取决于Convolution Kernel 的大小。比如用Sobel 算子进行边缘检测，本质就是比较图像邻近像素的相似性。

Pooling的本质其实是采样。Pooling对于输入的 FeatureMap，选择某种方式对其进行压缩。

另一种解读：原图像与Convolution Kernel的卷积，其实对频域信息进行选择。比如，图像中的边缘和轮廓属于是高频信息，图像中某区域强度的综合考量属于低频信息。

4.1两个特性

如果是卷积层，第一个特性是SparseConnectivity，每一个神经元只连接部分前一层的输出。

第二个特性是ParameterSharing，具有不同感受野(receptivefields)的神经元可以使用相同的参数集，远比全连接层更少的参数。

Pooling，即将前一个layer的个神经元的输出变为一个输出，池化的方法有平均法、最大值法和L2法。