模型加速

CLIP-Q: Deep Network Compression Learning by In-Parallel Pruning-Quantization CVPR2018 http://www.sfu.ca/~ftung/ 裁剪和量化一体化框架

在这里插入图片描述

本文的思路比较简单，裁剪+量化一体训练模型分三个步骤： 1） Clipping 裁剪，将网络中的权重系数值接近0 的权重全部置零，当然这种置零是临时性的，后面的训练迭代根据实际情况调整。 这里的阈值自适应确定，（model the objective function as a Gaussian process） 2）Partitioning 切分， partition the non-clipped portion of the 1-D axis of weight values into quantization intervals，这里我们使用了 linear (uniform) partitioning ，也可以使用其他自适应切分 如 weighted entropy 3）Quantizing 量化 update the quantization levels the discrete values that the weights are permitted to take in the compressed network

在这里插入图片描述

Experiments

在这里插入图片描述

在这里插入图片描述

11