随机采样池化--S3Pool: Pooling with Stochastic Spatial Sampling
随机采样池化--S3Pool: Pooling with Stochastic Spatial Sampling
S3Pool: Pooling with Stochastic Spatial Sampling CVPR2017 https://github.com/Shuangfei/s3pool
本文将常规池化看作两个步骤： 1）以步长为1在特征图上滑动池化窗口，尺寸大小基本保持不变， leaves the spatial resolution intact 2）以一种 uniform 和 deterministic 的方式进行降采样 我们认为这种 uniform 和 deterministic 的降采样方式 对于学习来说不是最优的（ which aims for generalization to unseen examples ），对此我们提出一种随机采样方式，这种随机采样 像一个 strong regularizer，可以被看作 implicit data augmentation by introducing distortions in the feature maps
Stochastic pooling 可以看作在一个池化窗口内 对特征图数值进行归一化， 按照特征图归一化后的 概率值大小随机采样选择，即元素值大的被选中的概率也大
g being a hyperparameter named grid size
通过改变 grid size g 来控制 distortion/stochasticity
测试用的网络结构
NIN on CIFAR-10 and CIFAR-100
ResNet on CIFAR-10 and CIFAR-100
Effect of grid size
通过增加grid size 尺寸，训练误差变大，对应更多的随机性。测试误差先降低（ stronger regularization），后来升高（当训练误差太高时）。
This observation suggests a trade-off between the optimization feasibility and the generalization ability, which can be adjusted in different applications by setting the grid sizes of each S3Pool layer
Results on STL-10
训练样本数量和测试误差的关系
