神经网络低比特量化——TQT

TQT

本文为Xilinx的量化工作,发表在 MLSys 2020，论文题目：Trained Quantization Thresholds for Accurate and Efficient Fixed-Point Inference of Deep Neural Networks. 本文提出了一种基于标准反向传播和梯度下降的均匀对称量化器量化阈值训练方法，为了便于硬件部署量化器被限制为使用2的幂比例因子。TQT能够在困难网络（如MobileNets）上实现接近浮点精度，而量化（8位）retrain 时间少于5个 epochs。

• 论文链接：https://arxiv.org/abs/1903.08066v3
• 量化工具 Graffitist：https://github.com/Xilinx/graffitist

背景与动机

量化的自由度

Asymmetric & Symmetric

• Asymmetric:

• Symmetric:

Per-Channel & Per-Tensor

• Per-Channel 指同一层网络中不同卷积核有不同的缩放因子。
• Per-Tensor 指同一层网络中不同卷积核共享同一个缩放因子。

Real-valued scaling & Power-of-2 scaling

• Real-valued scaling 表示量化缩放因子为实数值
• Power-of-2 scaling 表示量化缩放因子为2的次幂形式（硬件实现可移位完成）

结合量化方法和对硬件部署的友好程度，本文总结量化方法与特点如下图所示：

可见，Asymmetric & Per-Channel & Real-valued scaling方法对量化的表达最为灵活，无论是简单网络还是难网络均能保证良好的量化精度误差，但是硬件部署不友好；反之，针对Symmetric & Per-Tensor & Power-of-2 scaling方法对量化表达不够灵活，简单网络实施量化较灵活，但是，针对如MobileNet类型的紧凑型网络结构量化后的损失严重。但是，对硬件的部署十分友好。

MobileNet难量化的原因

可视化数据范围

通过上图对 MobileNet 权重数据范围的可视化，我们发现，对于 depth-wise 卷积层，参数的分布范围非常不对称；这导致了均匀量化过程会产生严重的量化偏差。

方法

TQT——前向量化

TQT——反向传播

梯度的解释

梯度传递曲线

梯度公式推导

阈值梯度的作用

阈值梯度作用可视化

输入梯度的作用

实验结果

ImageNet量化实验结果