【模型压缩】开源 | GDFQ--模型压缩算法，提出了一种知识匹配生成器，用于深度模型的量化处理。

论文地址： http://arxiv.org/pdf/2003.03603v3.pdf

代码： 公众号回复：09020236960

来源： 华南理工大学

论文名称：Generative Low-bitwidth Data Free Quantization

原文作者：Shoukai Xu

内容提要

神经网络量化是压缩深度模型、提高其执行延迟和能源效率的有效方法，从而使模型可以部署到移动或嵌入式设备上。现有的量化方法需要对原始数据进行校准或微调，以获得更好的性能。然而，在许多现实情况下，由于机密或私人问题，数据可能无法获得，因此现有的量化方法并不适用。此外，由于缺乏原始数据，最近开发的生成式对抗网络(GANs)，也无法用于生成该种数据。虽然全精度模型可能包含丰富的数据信息，但仅利用这些信息很难恢复原始数据或生成新的有意义的数据。在本文中，我们研究了一种简单而有效的方法，被称为Generative Low-bitwidth Data Free Quantization(GDFQ)，来消除数据依赖的负担。具体地说，我们提出了一个知识匹配生成器，利用预先训练的模型中的分类边界知识和分布信息来生成有意义的假数据。在生成的数据的帮助下，我们可以通过预先训练好的模型的知识，来对模型进行量化。在三个数据集上的大量实验证明了我们的方法的有效性。更重要的是，我们的方法在4-bit quantization上比现有的数据自由量化方法，取得了更高的精度。

主要框架及实验结果

声明：文章来自于网络，仅用于学习分享，版权归原作者所有，侵权请加上文微信联系删除。