上海交大CS系博士生李泽凡：利用高阶残差量化（HORQ）方法进行网络加速

神经网络的压缩和加速现在已经成为一个热门课题，这个领域有多种研究方法，网络量化就是其中之一。网络量化分为输入量化和权值量化两种。而同时将输入和权值量化会造成网络精度的大幅下降。在 Performance Guaranteed Network Acceleration via High-Order Residual Quantization (性能保障的高阶残差量化网络加速方法)一文中，作者针对这个问题，提出了高阶残差量化（HORQ）的方法，既能够利用网络量化带来的大幅计算加速，又能够保证网络的精度不会大幅下降。

AI研习社的线上分享会上，该论文第一作者李泽凡为我们详细解读了HORQ方法及相关推导过程 。

李泽凡，上海交大 CS 系二年级博士生，师从高文院士和张文军教授。 研究方向为神经网络理论、网络加速和压缩。

分享内容：

大家好，今天我将为大家带来我们在ICCV 2017上发表的文章——Performance Guaranteed Network Acceleration via High-Order Residual Quantization (性能保障的高阶残差量化网络加速方法)。

这篇文章的研究领域是网络加速和网络压缩。主要的网络加速和网络压缩方法可以分为如下三种类型，第一种是网络剪枝，第二种是低阶分解和低阶近似，第三种是网络量化和二值化。这篇文章的关注点在网络的二值化方法上。

什么是网络的二值化/量化？这里以CNN的一个卷积层为例。

卷积层的二值化有两个优点，第一个优点是可以实现模型大小的压缩。

第二点是能加速计算。

接下来介绍这篇文章的motivation，之前的XNOR网络虽然能实现58倍的加速，但网络精度出现大幅下降。我们希望既能利用二值化带来的便利，也避免网络精度的大幅度下降。

说到这篇文章的方法之前，我们再来看看如何进行网络二值化。由浅入深，先来谈谈如何进行向量二值化。

向量二值化的目标如下：

求解如下最小二乘估计：

相当于求解如下问题，可以转化为如何最大化X转置乘以H的问题。

求解完H之后再来求解β，求解过程如下：

由此得到前面图中该最优化问题的解析解形式如下：

下面举个例子，如何运用向量二值化来二值化向量的內积。如下是四维向量相乘的例子：

求解X和W內积的式子如下所示：

估算值为1.27875，与实际值0.76相比有很大误差。这也表示，用这样的方法进行向量二值化会带来很大误差，信息损失巨大。

由此，我们的工作提出高阶残差量化，利用泰勒展开的方法，具体如下：

如图左所示是原来二值化方法的信息损失，我们定义量化残差的概念来描述信息损失：

由此可以上升到二阶残差量化估计：

下面是从三维空间来看：

以此类推，我们可以定义K维残差估计：

接下来利用HORQ（高阶残差）方法来逼近我们刚才XW=0.76的例子：

下面求得X的二阶量化值，对W不用进行二阶二值估计，因为在之前网络中对权值进行二阶二值估计对网络的影响不是很大，我们只讨论对输入进行高阶残差估计方法。XW的值如下：

最后的结果如下：

同理作出三阶二值估计：

三阶量化的结果如下，在0.81左右。

同理可以做四阶二值估计，有一个很有意思的结论，对于n维向量X，它最多只有n阶二值估计。

把这些残差估计做一个汇总，如下：

这是一些HORQ框架下理论上比较有趣的结果。结论一：二值的残差一定是跟相应阶数下的二值向量垂直。

推导过程如下，另外还有一些小结论：

下面这张图中可以应用上面推导出来的定理。

结论二：随着i的增加信息损失是逐渐减少的。

第三个结论如下图：

接下来讲一下如何将HORQ的方法应用到矩阵乘法中。

实际上矩阵乘法可以看成一个行向量和一个列向量的乘积。

话说回来，如何利用HORQ的方法计算卷积层呢？

这里涉及到tensor reshape过程，具体的过程如下：

下面是原始的卷积网络以及对权值和输入二值化来进行卷积操作，这样带来的信息损失巨大。

HORQ提出了下面这样一个框架模型。

下面是一些实验结果，可以看到在一些小数据集上都有不错的表现，基本上可以降低一半的误差。图中也给出了不同阶数的加速比。

下面是加速比的一些理论分析，加速比与三个因素有关，公式如下：

可以看到参数之间的相关关系：

接下来是一些问题。实际上HORQ网络模型依赖于二值化矩阵乘法的计算，需要一些比较合适的框架，二值模型的存储和载入与浮点数的存储和载入不一样。

论文地址：https://arxiv.org/abs/1708.08687