首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

ZeroQ:基于Data-Free的30秒快速量化方法

量化是减少神经网络推理时间和减少内存占用的一种有前途的方法。但是,大多数现有的量化方法都需要访问原始训练数据集以在量化期间进行再训练。例如,由于隐私和安全性考虑,对于具有敏感或专有数据的应用程序通常是不可能的。现有的zero-shot量化方法使用不同的启发式方法来解决此问题,但是它们导致性能不佳,尤其是在量化到超低精度时。在这里,我们提出ZeroQ,这是一种新颖的zero-shot量化框架,可以解决这一问题。ZeroQ允许混合精度量化,而无需访问训练或验证数据。这是通过优化“蒸馏数据集”来实现的,该数据集经设计可匹配网络不同层上的批标准化的统计数据。ZeroQ支持统一和混合精度量化。对于后者,我们引入了一种新颖的基于Pareto边界的方法,可以自动确定所有图层的混合精度位设置,而无需进行手动搜索。我们在各种模型上广泛测试了我们提出的方法,包括ImageNet上的ResNet18/50/152,MobileNetV2,ShuffleNet,SqueezeNext和InceptionV3,以及Microsoft COCO数据集上的RetinaNet-ResNet50。特别是,我们证明,与最近提出的DFQ方法相比,ZeroQ在MobileNetV2上可以实现1.71%的量化精度提高。重要的是,ZeroQ的计算开销非常低,它可以在不到30秒的时间内完成整个量化过程(ImageNet上ResNet50的一个epoch训练时间的0.5%)。

03
领券