学界 | 上海交通大学团队与高文院士ICCV录用论文:精度保证下的新型深度网络压缩框架

AI科技评论按:ICCV 全称为 IEEE International Conference on Computer Vision,即国际计算机视觉大会)与计算机视觉模式识别会议(CVPR)和欧洲计算机视觉会议(ECCV)并称计算机视觉方向的三大顶级会议,每两年召开一次的 ICCV 今年将在意大利威尼斯举办。

由上海交通大学人工智能实验室李泽凡博士实现,倪冰冰教授、张文军教授、杨小康教授,高文院士指导的论文《基于高阶残差量化的高精度网络加速》(Performance Guaranteed Network Acceleration via High-Order Residual Quantization)已经被 ICCV2017 录用,以下为上海交通大学人工智能实验室杨蕊所做的详细解读,AI科技评论经授权引用,并做了不改动原意的修改和编辑。

论文链接:http://pan.baidu.com/s/1bMgbme

简介

随着人工智能在各个领域的应用中大放异彩,深度学习已经成为街头巷尾都能听到的词汇。然而网络越来越深,数据越来越大,训练越来越久,如何在保证准确率的情况下加速网络以及甚至网络在 CPU 或者移动设备上进行训练与测试变成了迫在眉睫的问题。

除了网络 pruning,网络稀疏近似等等,网络二值化也是常见的网络加速方式。通常情况下,我们用+1 和-1 来代替原来的浮点数数值,使得卷积中的乘法操作变成加减操作,而如果输入和权重同时二值化,乘法操作就会变成异或操作。这看似是一种合理的网络压缩方式,然而如果单纯的运用阈值二值化方法对网络输入进行二值化处理,那么模型最后的精度将无法得到保证。但如果不运用二值化方法对网络进行加速,那么就又无法利用二值化所带来的在计算和存储方面的优势。

而这篇文章提出的 HORQ(High Order Residual Quantization)方法提出了一种针对输入的高阶残差二值量化的方法,既能够利用二值化计算来加快网络的计算,又能够保证训练所得的二值化网络模型的较高的准确率。

方法

图一 HORQ 结构

图一展示了如何用 HORQ 方法将一个普通的卷积层进行残差量化。

对于一个神经网络常规的卷积层 Y=X⊗W, 其中 X 是网络的实值输入,W 是网络的实值权值,Y 是网络层的输出。要对这个卷积层进行高阶残差近似,先按照 XNOR-net[1] 的方法对这个卷积层进行一阶二值近似:

X≈β_1 H_1,W≈αB

Y_1=αβ_1 H_1⊗B

随后,就可以由此定义输入残差张量:

R_1 (X)=X-β_1 H_1

继续对残差进行二值量化,就可以得到输入 X 的二阶二值近似:

R_1 (X)≈β_2 H_2,W≈αB

Y_2=αβ_2 H_2⊗B

那么,现在可以定义输入 X 的二阶残差近似:

Y≈Y_1+Y_2

类似的,我们可以进而定义出输入 X 的高阶残差,以及相应的高阶残差量化:

由此,对卷积层进行二阶(高阶)残差量化,并加速其运算。

实验结果

这篇文章的实验部分在 MNIST 和 CIFAR-10 数据集上进行测试,发现 HORQ-net 对比之前对输入简单采取一阶阈值二值化的方法有喜人的优势:

图二 MNIST 实验

图三 Cifar-10 实验

我们发现,对于二阶残量化方法,该方法将网络的大小降低了约 32 倍,同时速度上有 30 倍的提升,相比 XNOR-net 在两个 MNIST 和 CIFAR-10 上测试准确率均有提升,并且展现出了可在 CPU 上进行网络训练的潜能。

图四 HORQ 方法加速比性能分析

图五 HORQ 方法加速比与量化阶数分析

性能分析

HORQ 方法对卷积层计算的的加速比跟卷积核大小,feature map 数量,以及残差量化的阶数都有较大关系。这些关系体现在图四和图五中。而且,如图六所示,基于二值化的模型存储空间可以得到大幅度的降低。

图六

该论文提出的 HORQ 方法可以作为一个基础的二值量化的方法用于网络的输入二值化中,能够在保证网络模型精度的前提下,利用二值量化的技术提升网络的计算速度,而且同时可以根据实际的硬件需要来调整残差阶数以适应需求。

这个方法有着很大的发展、使用前景。对于一般的深度学习网络,HORQ 方法能能够很大程度上加速深度网络的计算速度。由于网络的每层输入的输入和权值都被二值化,模型的前向传播时间得到大大降低,同时存储模型所需的空间得到大大压缩,使得在资源受限的小运算平台,例如手机和笔记本上运行大规模深度网络模型成为可能。另外,高阶残差量化的方法能够使得网络精度得到保证,使得网络不再会因为简单二值化方法而造成的精度大幅下降。

参考文献:

[1]M. Rastegari, V. Ordonez, J. Redmon, and A. Farhadi. Xnor-net: Imagenet classification using binary convolutional neu-ral networks. In European Conference on Computer Vision, pages 525–542. Springer, 2016.

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-08-31

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据派THU

ML:教你聚类并构建学习模型处理数据(附数据集)

1488
来自专栏机器之心

AAAI 2018 | 腾讯AI Lab现场陈述论文:训练L1稀疏模型的象限性消极下降算法

2707
来自专栏真皮专栏

机器学习可行性与VC dimension

在银行评估贷款申请人的授信请求前,会进行风险评估。符合申请则通过,反之驳回。长时间的数据和申请使得银行从中找到了一些规律并开始learning,所以风险评估就是...

583
来自专栏CVer

[计算机视觉论文速递] 2018-02-28

[1]《CSRNet: Dilated Convolutional Neural Networks for Understanding the Highly C...

3488
来自专栏AI科技大本营的专栏

标题:重磅 | ICML 2017 开幕,华人再获最佳论文奖(附历届引用量最高论文解读)

翻译 | AI科技大本营(rgznai100) 参与 | 尚岩奇、周翔 8 月 6 日,为期 6 天的国际机器学习大会 ICML 在澳大利亚悉尼正式拉开帷幕。据...

3014
来自专栏数据派THU

【独家】一文读懂聚类算法

1. 聚类的基本概念 1.1 定义 聚类是数据挖掘中的概念,就是按照某个特定标准(如距离)把一个数据集分割成不同的类或簇,使得同一个簇内的数据对象的相似性尽可能...

2647
来自专栏新智元

榜单 | Github 深度学习项目排行榜

【新智元导读】GitHub上根据星级(stra)列出了最常用的53个深度学习项目。其中,最受欢迎的是TensorFlow。表格的整理人ID分别是aymericd...

41510
来自专栏专知

【经典重读】机器学习的那些事

【导读】现在以深度学习、强化学习、GAN等为代表的算法模型技术发展方兴未艾。在追随这些前沿技术同时,我们也需要对机器学习的基本概念的进行理解,如“学习=表示+评...

3105
来自专栏AI科技评论

大会 | 思必驰-上海交大实验室14篇ICASSP 2018入选论文解读

AI 科技评论按:为期 5 天的 ICASSP 2018,已于当地时间 4 月 20 日在加拿大卡尔加里(Calgary)正式落下帷幕。ICASSP 全称 In...

1174
来自专栏琦小虾的Binary

学习July博文总结——支持向量机(SVM)的深入理解(下)

接上篇博文《学习July博文总结——支持向量机(SVM)的深入理解(上) 》; 三、证明SVM 凡是涉及到要证明的内容和理论,一般都不是怎么好惹的东西。绝大部分...

1889

扫描关注云+社区