【AutoML】强化学习如何用于模型量化？
大家好，欢迎来到专栏《AutoML》，在这个专栏中我们会讲述AutoML技术在深度学习中的应用，这一期讲述在模型量化中的应用。
作者&编辑 | 言有三
上一期给大家介绍了AutoML技术在模型剪枝中的应用，而量化作为模型压缩的另外一个技术，是学术界和工业界的重点研究方向，今天给大家介绍AutoML在模型量化中的应用思路。
1 HAQ(混合精度量化学习)
HAQ(Hardware-Aware Automated Quantization with Mixed Precision)是一个自动化的混合精度量化框架，使用增强学习让每一层都学习到了适合该层的量化位宽。
不同的网络层有不同的冗余性，因此对于精度的要求也不同，当前已经有许多的芯片开始支持混合精度。通常来说，浅层特征提取需要更高的精度，卷积层比全连接层需要更高的精度。如果手动的去搜索每一层的位宽肯定是不现实的，因此需要采用自动搜索策略。
另一方面，一般大家使用FLOPS，模型大小等指标来评估模型压缩的好坏，然后不同的平台表现出来的差异可能很大，因此HAQ使用了新的指标，即芯片的延迟和功耗。
搜索的学习过程是代理Agent接收到层配置和统计信息作为观察，然后输出动作行为即权值和激活的位宽。其中一些概念如下：
(1) 观测值-状态空间，一个10维变量，如下：
(2) 动作空间，使用了连续函数来决定位宽，离散的位宽如下：
(3) 反馈，利用硬件加速器来获取延迟和能量作为反馈信号，以指导Agent满足资源约束。
(4) 量化，直接使用线性量化方法，其中s是缩放因子，clamp是截断函数。
(5) c的选择是计算原始分布和量化后分布的KL散度，这也是很多框架中的做法。
(5) 奖励函数，在所有层被量化过后，再进行1个epoch的微调，并将重训练后的验证精度作为奖励信号。
(6) 代理，使用了深度确定性策略梯度（DDPG）方法。
上图是在延迟约束下，MobileNet-V1/V2模型在边缘端和云端设备上的实验结果，与固定的8bit量化方法相比，分别取得了1.4倍到1.95倍的加速。
上图分别是边缘端和云端设备上MobileNet-V1各个网络层的量化特点，可以发现在边缘端设备上depthwise卷积有更少的bits，pointwise有更多，在云端则是完全相反。这是因为云设备具有更大的内存带宽和更高的并行性，而depthwise就是内存受限的操作，pointwise则是计算受限的操作，MobileNet-V2上能观察到同样的特点。
另外还有能量约束和模型大小约束的结果，读者可以读原始论文获取细节。
与HAQ类似的研究还有AutoDB[2]等，感兴趣同学可以延伸阅读。
2 关于模型优化
如果说要我在深度学习这么多方向里选择一个的话，我会毫不犹豫地选择模型优化，这也是我一直在做的事情。公众号写过很多的模型解读了，如下是一些文章总结和直播链接以及资源下载。
【总结】言有三&阿里天池深度学习模型设计直播汇总，附赠超过200页直播PPT课件
知识星球也有一个模型结构1000变板块，比公众号的内容更深更广。其中的模型优化部分主要包括紧凑模型的设计，剪枝，量化以及知识蒸馏等内容的详细解读，感兴趣可以移步，添加有三微信Longlongtogo略有优惠。
[1] Wang K, Liu Z, Lin Y, et al. HAQ: Hardware-Aware Automated Quantization with Mixed Precision[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 8612-8620.
[2] Lou Q, Liu L, Kim M, et al. AutoQB: AutoML for Network Quantization and Binarization on Mobile Devices[J]. arXiv preprint arXiv:1902.05690, 2019.
总结
这次我们介绍了AutoML在模型量化中的一个经典案例，至此已经基本介绍完AutoML在模型优化参数搜索中的各个方向，详细深入各个方向就留待感兴趣的读者自己加油了。
下期预告：AutoML与模型结构搜索开篇。
转载文章请后台联系
侵权必究