首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >神经网络低比特量化——LSQ+

神经网络低比特量化——LSQ+

作者头像
AI异构
发布2020-08-11 17:39:10
2K0
发布2020-08-11 17:39:10
举报
文章被收录于专栏:AI异构AI异构

LSQ+

本文为高通基于LSQ改进的量化工作,论文题目为:LSQ+: Improving low-bit quantization through learnable offsets and better initialization。

摘要

与ReLU不同,在流行的高效架构中经常使用的较新的激活函数(如Swish,H-swish,Mish)也可能导致负激活值,正负范围出现偏差。典型的可学习量化方案(PACT,LSQ)假设激活无符号量化,并将所有负激活量化为零,这会导致性能显着下降。简单的使用带符号的量化来容纳这些负值需要一个额外的符号位,这对于低位(2位,3位,4位)量化而言是昂贵的。为了解决这个问题,我们提出了LSQ 的扩展,即LSQ +,该方法引入了一种通用的非对称量化方案,该方案具有可训练的尺度和偏移参数,可以学会适应负激活。基于梯度的可学习量化方案通常会有最终训练性能高度不稳定性的缺点,因此需要大量的超参数调整才能达到令人满意的性能。LSQ+ 通过对量化参数使用基于 MSE 的初始化方案来缓解此问题。本文表明,这种初始化使得在多次训练中最终表现的差异明显降低。总体而言,LSQ+ 显示了 EfficientNet 和 MixNet 的最新结果,并且在具有 Swish 激活的神经网络的低位量化方面也明显优于 LSQ(例如:在ImageNet数据集上,对EfficientNet-B0进行W4A4量化处理,获得了1.8%的增益;对EfficientNet-B0进行W2A2量化处理,获得了5.6%的增益)。

方法

Learnable asymmetric quantization
量化公式
\begin{array}{l} \left.\bar{x}=\mid \operatorname{clamp}\left(\frac{x-\beta}{s}, n, p\right)\right] \\ \hat{x}=\bar{x} \times s+\beta \end{array}
量化反向求导
参数与激活量化形式

对于权重量化,使用对称符号量化,因为可以凭经验观察到层权重在零附近对称分布。激活采用非对称量化形式。与对称量化相比,激活的非对称量化在推理过程中没有额外的成本,因为可以在编译时预先计算附加的偏移项并将其合并到偏差中:

\hat{w} \hat{x}=\left(\bar{w} \times s_{w}\right)\left(\bar{x} \times s_{x}+\beta\right)=\bar{w} \bar{x} s_{w} s_{x}+\underbrace{\beta s_{w} \bar{w}}_{\text {bias }}
LSQ+四种配置方案

LSQ+不同配置方案

参数初始化方法
Scale initialization for weight quantization
s_{\text {init}}=\max (|\mu-3 * \sigma|,|\mu+3 * \sigma|) / 2^{b-1}
\mu

为权重绝对值的均值

\sigma

为权重绝对值的方差

Scale/offset initialization for activation quantization

通过优化MSE最小化问题来初始化每层的比例和偏移参数

s_{\text {init}}, \beta_{\text {init}}=\underset{s, \beta}{\arg \min }|| \hat{x}-x||_{F}^{2}

将 s 和 β 的梯度嵌入到 PyTorch 的自动求导功能中,以便在几批数据中优化{

s_{\text {init}}, \beta_{\text {init}}

}。

实验结果

EfficientNet-B0

EfficientNet-B0不同配置下的结果对比

MixNet-S

MixNet-S不同配置下的结果对比

ResNet18

ResNet18不同配置下的结果对比

消融实验

初始化结果稳定性分析

初始化结果稳定性分析

非对称偏置的作用

非对称偏置的作用


更多内容关注微信公众号【AI异构】

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2020-08-10,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 AI异构 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • LSQ+
    • 摘要
      • 方法
        • Learnable asymmetric quantization
        • 参数初始化方法
      • 实验结果
        • EfficientNet-B0
        • MixNet-S
        • ResNet18
      • 消融实验
        • 初始化结果稳定性分析
        • 非对称偏置的作用
    领券
    问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档