卷积神经网络之池化

pooling层(池化层)的输入一般来源于上一个卷积层,主要有以下几个作用：

1.保留主要的特征,同时减少下一层的参数和计算量，防止过拟合；

2. 保持某种不变性，包括translation(平移)，rotation(旋转)，scale(尺度),常用的有mean-pooling和max-pooling。

mean-pooling(平均值)

对一块小区域取平均值,假设pooling的窗大小是2x2,

1.forward:就是在前面卷积层的输出的不重叠地进行2x2的取平均值降采样，就得到mean-pooling的值。

举例:

2x2区域取平均值：

不重叠的4个2x2区域分别mean-pooling。

2.backward:把一个值分成四等分放到前面2x2的格子区域里面就好了。

举例：

四等分(2/4= 1/2) 放到2x2的区域

四个值分别Backword

max-pooling(最大值)

即对一小块区域取最大值,假设pooling的窗大小是2x2,

1.forward:就是在前面卷积层的输出的不重叠地进行2x2的取最大值降采样，就得到max-pooling的值。

举例：

2x2区域取最大值

不重叠的4个2x2区域分别max-pooling

2.backward:在max-pooling前向传播时,只取最大值,其他值无作用。

因此反向传播时，只关注最大值，所以将残差传递到该最大值的位置，区域内其他2*2-1=3个位置置零。

四个值分别Backward。