首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

ICLR 2022丨加速无数据量化数万倍,上海交大&微软提出无数据场景下毫秒级量化方法SQuant

然而,出于数据和隐私安全的考虑,许多应用场景无法获得精调所需训练数据,因此无数据(data-free)场景下的量化算法成为当下研究热点之一。...现有的无数据量化方案通常需要生成伪数据,然后利用伪数据进行训练后量化(Post-train quantization, PTQ)和量化感知训练(Quantization-aware training,...对比现有的无数据量化方法,实现了更高的精度并使量化过程加速数万倍,甚至可以在推理设备上部署。该工作已被ICLR 2022会议接收,代码已经开源。...因此,量化后模型的精度损失可以近似为: 可以继续近似将常系数省略,即可得到无数据量化目标,模型量化过程最小化下述优化目标: 至此,我们可以将每一层权重的优化方案分解为,三个部分的优化分别通过元素层次优化...3 实验结果 一、精度对比 SQuant方法,在多种模型上超过了现有的无数据量化方法,包括PTQ方法:DFQ,ZeroQ,DSQ方法,以及QAT方法:GDFQ。

1.1K20
领券