AI异构-腾讯云开发者社区

开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

AI异构

关注人工智能与异构计算

专栏成员

112

文章

170676

阅读量

32

订阅数

CVPR 2021 | LCQ：基于低比特量化精度提升的可学习压扩量化方法

量化深度神经网络是一种有效的减少内存消耗和提高推理速度的方法，因此适用于资源受限的设备。然而，极低位模型仍然很难达到与全精度模型相当的精度。为了解决这个问题，本文提出了可学习扩展量化 (LCQ) 作为一种新的非均匀量化方法用于 2-bit、3-bit 和 4-bit 模型量化。LCQ 联合优化模型权重和可学习的压扩函数，这些函数可以灵活而非均匀地控制权值和激活的量化级别。本文还提出了一种新的权重归一化技术，允许更稳定的量化训练。实验结果表明，在图像分类和目标检测任务中，LCQ 优于传统最先进的方法，缩小了量化模型和全精度模型之间的差距。值得注意的是，ImageNet 上的2-bit ResNet-50 模型达到了最高的 75.1% 的精度，并将差距缩小到 1.7% ，使 LCQ 能够进一步挖掘非均匀量化的潜力。

2021-04-13

2.5K0

AdaQuant：改进训练后神经网络量化：分层校准和整数编程

tcp/ip 文件存储

训练后量化方法使用简单，并且只需要少量未标记的校准集，因此引起了相当大的关注。在没有明显过拟合的情况下，这个小的数据集不能用于微调模型。相反，这些方法仅使用校准集来设置激活的动态范围。但是，当使用低于8位的格式时（除非在小型数据集上使用），此类方法始终会导致精度显着下降。本文旨在突破8位的障碍。为此，通过在校准集上优化每一层的参数，分别最小化每一层的量化误差。本文从实验角度证明这种方法：（1）与标准的微调方法相比，对过拟合的敏感度要低得多，并且即使在非常小的校准集上也可以使用；（2）比以前的方法（仅能设置激活的动态范围）更强大。此外，本文提出一种新颖的整数编程公式，在为每层精确分配位宽的同时，限制了精度的降低。最后，本文建议对全局统计信息进行模型调整，以纠正量化期间引入的偏差。这些方法结合在视觉和文本任务上取得了SOTA的结果。例如，在ResNet50上，实现了所有层权重和激活4-bit量化，且精度下降不到1％。

2021-04-13

3.1K0

CVPR 2021 | AttentiveNAS：通过注意力采样改善神经架构搜索

神经网络编程算法

神经结构搜索(NAS)在设计最先进的(SOTA)模型方面表现出了巨大的潜力，既准确又快速。近年来，BigNAS 等两阶段 NAS 将模型训练和搜索过程解耦，取得了良好的搜索效率。两阶段 NA S在训练过程中需要对搜索空间进行采样，这直接影响最终搜索模型的准确性。尽管均匀抽样的广泛应用是为了简化，但它不考虑模型性能的帕累托前沿，而帕累托前沿是搜索过程中的主要关注点，因此错过了进一步提高模型精度的机会。在这项工作中，我们建议关注于采样网络，以提高性能的帕累托。在训练过程中，本文还提出了有效识别帕累托网络的算法。无需额外的再训练或后处理，就可以通过广泛的 FLOPs 同时获得大量的网络。本文发现的模型家族 AttentiveNAS 模型在 ImageNet 上的准确率最高，从77.3%到80.7%，优于包括 BigNAS、Once-for-All networks 和 FBNetV3 在内的 SOTA 模型。并且本文还实现了 ImageNet 的精度为80.1%，只需491 MFLOPs。

2021-03-24

1.5K0

AdaRound：训练后量化的自适应舍入

在对神经网络进行量化时，主要方法是将每个浮点权重分配给其最接近的定点值。本文发现，这不是最佳的量化策略。本文提出了 AdaRound，一种用于训练后量化的更好的权重舍入机制，它可以适应数据和任务损失。AdaRound 速度很快，不需要对网络进行微调，仅需要少量未标记的数据。本文首先从理论上分析预训练神经网络的舍入问题。通过用泰勒级数展开来逼近任务损失，舍入任务被视为二次无约束二值优化问简化为逐层局部损失，并建议通过软松弛来优化此损失。AdaRound 不仅比舍入取整有显著的提升，而且还为几种网络和任务上的训练后量化建立了新的最新技术。无需进行微调，本文就可以将 Resnet18 和 Resnet50 的权重量化为 4 位，同时保持 1％的精度损失。

2021-03-09

2.2K0

APQ：联合搜索网络架构、剪枝和量化策略

本文提出APQ，以便在资源受限的硬件上进行有效的深度学习推理。与以前分别搜索神经体系结构，修剪策略和量化策略的方法不同，本文以联合方式优化它们。为了应对它带来的更大的设计空间问题，一种有前途的方法是训练量化感知的准确性预测器，以快速获得量化模型的准确性，并将其提供给搜索引擎以选择最佳拟合。但是，训练此量化感知精度预测器需要收集大量量化的<model，precision>对，这涉及量化感知的微调，因此非常耗时。为了解决这一挑战，本文建议将知识从全精度（即fp32）精度预测器转移到量化感知（即int8）精度预测器，这将大大提高采样效率。此外，为fp32精度预测器收集数据集只需要通过从预训练的 once-for-all 网络中采样就可以评估神经网络，而无需任何训练成本。ImageNet 上的大量实验证明了联合优化方法的好处。与MobileNetV2 + HAQ 相比，APQ 以相同的精度将延迟降低2倍，能耗降低1.3倍。与单独的优化方法（ProxylessNAS + AMC + HAQ ）相比，APQ可提高ImageNet精度2.3％，同时减少GPU数量级和CO2排放量，从而推动了绿色AI在环保方面的前沿。

2021-01-07

1.5K0

万字综述 | 一文读懂知识蒸馏

机器学习强化学习深度学习人工智能神经网络

近年来，深度神经网络在工业界和学术界都取得了成功，尤其是在计算机视觉任务方面。深度学习的巨大成功主要归因于其可扩展性以编码大规模数据并操纵数十亿个模型参数。但是，将这些繁琐的深度模型部署在资源有限的设备（例如，移动电话和嵌入式设备）上是一个挑战，这不仅是因为计算复杂性高，而且还有庞大的存储需求。为此，已经开发了多种模型压缩和加速技术。作为模型压缩和加速的代表类型，知识蒸馏有效地从大型教师模型中学习小型学生模型。它已迅速受到业界的关注。本文从知识类别，训练框架，师生架构，蒸馏算法，性能比较和应用的角度对知识蒸馏进行了全面的调查。此外，简要概述了知识蒸馏中的挑战，并讨论和转发了对未来研究的评论。

2020-12-22

16.2K0

HAWQ-V2：基于Hessian迹的混合比特量化策略

量化是减少神经网络的内存占用和推理时间的有效方法。但是，超低精度量化可能会导致模型精度显着下降。解决此问题的一种有前途的方法是执行混合精度量化，其中更敏感的层保持更高的精度。但是，用于混合精度量化的搜索空间的层数是指数级的。HAWQ 提出了一个新颖的基于 Hessian 的框架，其目的是通过使用二阶信息来减少这种指数搜索空间。尽管有前途，但这项先前的工作具有三个主要局限性：

2020-12-08

1.6K0

HAWQ：基于 Hessian 的混合精度神经网络量化

神经网络编程算法

在许多应用程序中部署神经网络时，模型大小和推理速度/功率已成为主要挑战。解决这些问题的一种有前途的方法是量化。但是，将模型统一量化为超低精度会导致精度显着下降。一种新颖的解决方案是使用混合精度量化，因为与其他层相比，网络的某些部分可能允许较低的精度。但是，没有系统的方法来确定不同层的精度。对于深度网络，蛮力方法不可行，因为混合精度的搜索空间在层数上是指数级的。另一个挑战是在将模型量化到目标精度时用于确定逐块微调顺序复杂度是阶乘级别的。本文介绍了 Hessian AWare 量化（HAWQ），这是一种解决这些问题的新颖的二阶量化方法。HAWQ 根据Block块的 Hessian 最大特征值选择各层的相对量化精度。而且，HAWQ基于二阶信息为量化层提供了确定性的微调顺序。本文使用 ResNet20 在 Cifar-10 上以及用Inception-V3，ResNet50 和 SqueezeNext 模型在 ImageNet 上验证了方法的结果。将HAWQ 与最新技术进行比较表明，与 DNAS 相比，本文在 ResNet20 上使用 8 倍的激活压缩率可以达到相似/更好的精度，并且与最近提出的RVQuant和HAQ的方法相比，在ResNet50 和 Inception-V3 模型上，当缩小 14％模型大小的情况下可以将精度提高 1％。此外，本文证明了可以将 SqueezeNext 量化为仅 1MB 的模型大小，同时在 ImageNet 上实现 Top-1 精度超过 68％。

2020-12-08

2.9K0

Bi-Real-Net：通过改进表示能力和训练算法提高1-bit CNNs性能

机器学习深度学习人工智能卷积神经网络神经网络

深度卷积神经网络（CNN）由于精度高在视觉任务中已经有非常广泛的应用，但是 CNN 的模型过大限制了它在移动端的部署。模型压缩也因此变得尤为重要。在模型压缩方法中，将网络中的权重和激活都只用 +1 或者 -1 来表示将可以达到理论上的 32 倍的存储空间的节省和 64 倍的加速效应。由于它的权重和激活都只需要用 1bit 表示，因此极其有利于硬件上的部署和实现。

2020-11-25

1.6K0

DARTS-:增加辅助跳连，走出搜索性能崩溃

尽管可微分架构搜索(DARTS)发展迅速，但它长期存在性能不稳定的问题，这极大地限制了它的应用。现有的鲁棒性方法是从由此产生的恶化行为中获取线索，而不是找出其原因。各种指标如海森特征值等被提出来作为性能崩溃前停止搜索的信号。然而，如果阈值设置不当，这些基于指标的方法往往很容易拒绝好的架构，更何况搜索是内在的噪声。在本文中，进行了一种更细微更直接的方法来解决塌陷问题。本文首先证明了跳连与其他候选操作相比具有明显的优势，它可以很容易地从劣势状态中恢复过来并成为主导。因此，本文提出用辅助跳过连接来剔除这种优势，确保所有操作的竞争更加公平，在各种数据集上的大量实验验证了它可以大幅提高鲁棒性。

2020-11-25

8540

GOLD-NAS：针对神经网络可微分架构搜索的一次大手术

DARTS的搜索空间非常有限，例如，对于每个边保留了一个运算符，每个节点固定接收两个前继输入，等等。这些约束有利于NAS搜索的稳定性，但它们也缩小了强大的搜索方法带来的准确性。最典型的，某些启发式设计（例如，每个单元格中有两个跳连运算符）或搜索技巧（例如，Early Stop），甚至随机搜索也可以达到令人满意的效果。

2020-10-29

1.1K0

Additive Powers-of-Two (APoT) Quantization：硬件友好的非均匀量化方法

神经网络网络安全

本文首先提出了Additive Powers-of-Two（APoT）加法二次幂量化，一种针对钟形和长尾分布的神经网络权重，有效的非均匀性量化方案。通过将所有量化数值限制为几个二次幂相加，这APoT量化有利于提高计算效率，并与权重分布良好匹配。其次，本文通过参数化Clipping函数以生成更好的更新最佳饱和阈值的梯度。最后，提出对权重归一化来调整权重的输入分布，使其在量化后更加稳定和一致。实验结果表明，本文提出的方法优于最先进的方法，甚至可以与全精度模型竞争，因此证明了本文提出的APoT量化的有效性。例如，本文在 ImageNe t上的 3bit 量化 ResNet-34 仅下降了 0.3％的 Top-1 和 0.2％ Top-5 的准确性。

2020-10-10

3.4K0

GDFQ：基于Data-Free的低比特量化方法

https 网络安全

针对无法获得原始数据情况，为消除数据依赖的同时获得比较好的量化效果。本文贡献在于：

2020-09-28

1.1K0

ZeroQ：基于Data-Free的30秒快速量化方法

量化是减少神经网络推理时间和减少内存占用的一种有前途的方法。但是，大多数现有的量化方法都需要访问原始训练数据集以在量化期间进行再训练。例如，由于隐私和安全性考虑，对于具有敏感或专有数据的应用程序通常是不可能的。现有的zero-shot量化方法使用不同的启发式方法来解决此问题，但是它们导致性能不佳，尤其是在量化到超低精度时。在这里，我们提出ZeroQ，这是一种新颖的zero-shot量化框架，可以解决这一问题。ZeroQ允许混合精度量化，而无需访问训练或验证数据。这是通过优化“蒸馏数据集”来实现的，该数据集经设计可匹配网络不同层上的批标准化的统计数据。ZeroQ支持统一和混合精度量化。对于后者，我们引入了一种新颖的基于Pareto边界的方法，可以自动确定所有图层的混合精度位设置，而无需进行手动搜索。我们在各种模型上广泛测试了我们提出的方法，包括ImageNet上的ResNet18/50/152，MobileNetV2，ShuffleNet，SqueezeNext和InceptionV3，以及Microsoft COCO数据集上的RetinaNet-ResNet50。特别是，我们证明，与最近提出的DFQ方法相比，ZeroQ在MobileNetV2上可以实现1.71％的量化精度提高。重要的是，ZeroQ的计算开销非常低，它可以在不到30秒的时间内完成整个量化过程（ImageNet上ResNet50的一个epoch训练时间的0.5％）。

2020-09-22

2.1K0

神经网络架构搜索——可微分搜索（DAAS）

architecture cell error nas search

神经架构搜索（NAS）的搜索成本为通过权值共享方法大大减少。这些方法通过优化所有可能的边缘和操作的超级网络，从而确定离散化的最佳子网，即修剪弱候选者。在操作或边缘执行离散化过程目前存在的不准确之处以及最终结构的质量不能保证。本文提出了离散化感知架构搜索（DAAS），其核心思想是添加损失项以推动超级网络朝向所需拓扑的配置，以便离散带来的准确性损失得到缓解。实验在标准图像分类基准上证明了方法的重要性，尤其是在目标网络不平衡的情况下。

2020-09-14

1.1K0

目标检测二值量化——BiDet

图像识别神经网络机器学习深度学习人工智能

利用 XNOR-Net 的方法对目标检测网络直接进行二值化，网络中的信息冗余(如图(c)和(d)的XNOR的信息内卷)会造成大量的假正例(如图(a)所示)。

2020-08-28

2.5K0

神经网络低比特量化——TQT

https 网络安全

可见，Asymmetric & Per-Channel & Real-valued scaling方法对量化的表达最为灵活，无论是简单网络还是难网络均能保证良好的量化精度误差，但是硬件部署不友好；反之，针对Symmetric & Per-Tensor & Power-of-2 scaling方法对量化表达不够灵活，简单网络实施量化较灵活，但是，针对如MobileNet类型的紧凑型网络结构量化后的损失严重。但是，对硬件的部署十分友好。

2020-08-21

3.1K0

神经网络低比特量化——LSQ+

编程算法 node.js

与ReLU不同，在流行的高效架构中经常使用的较新的激活函数（如Swish，H-swish，Mish）也可能导致负激活值，正负范围出现偏差。典型的可学习量化方案（PACT,LSQ）假设激活无符号量化，并将所有负激活量化为零，这会导致性能显着下降。简单的使用带符号的量化来容纳这些负值需要一个额外的符号位，这对于低位（2位，3位，4位）量化而言是昂贵的。为了解决这个问题，我们提出了LSQ 的扩展，即LSQ +，该方法引入了一种通用的非对称量化方案，该方案具有可训练的尺度和偏移参数，可以学会适应负激活。基于梯度的可学习量化方案通常会有最终训练性能高度不稳定性的缺点，因此需要大量的超参数调整才能达到令人满意的性能。LSQ+ 通过对量化参数使用基于 MSE 的初始化方案来缓解此问题。本文表明，这种初始化使得在多次训练中最终表现的差异明显降低。总体而言，LSQ+ 显示了 EfficientNet 和 MixNet 的最新结果，并且在具有 Swish 激活的神经网络的低位量化方面也明显优于 LSQ（例如：在ImageNet数据集上，对EfficientNet-B0进行W4A4量化处理，获得了1.8%的增益；对EfficientNet-B0进行W2A2量化处理，获得了5.6%的增益）。

2020-08-11

2.3K0

神经网络低比特量化——LSQ

https 网络安全

在推理时以低精度操作运行的深度网络比高精度具有功耗和存储优势，但需要克服随着精度降低而保持高精度的挑战。在这里，本文提出了一种训练此类网络的方法，即 Learned Step Size Quantization，当使用来自各种架构的模型时，该方法在 ImageNet 数据集上实现了 SOTA 的精度，其权重和激活量化为2、3或4 bit 精度，并且可以训练达到全精度基线精度的3 bit 模型。本文的方法建立在现有的量化网络中学习权重的方法基础上，通过改进量化器本身的配置方式。具体来说，本文引入了一种新的手段来估计和扩展每个权重和激活层的量化器步长大小的任务损失梯度，这样它就可以与其他网络参数一起学习。这种方法可以根据给定系统的需要使用不同的精度水平工作，并且只需要对现有的训练代码进行简单的修改。

2020-08-10

2.8K0

神经网络低比特量化——DSQ

硬件友好的网络量化（如二进制/均匀量化）可以有效地加速推理，同时降低深度神经网络的内存消耗，这对于在资源有限的设备（如移动电话）上部署模型至关重要。然而，由于低比特量化的离散性，现有的量化方法往往面临训练过程不稳定和性能严重下降的问题。为了解决这一问题，本文提出了一种可微软量化（DSQ）方法来弥补全精度网络和低比特网络之间的差距。DSQ可以在训练过程中自动进化，逐步逼近标准量化。由于DSQ的可微性，在适当的限幅范围内，DSQ可以在后向传播中跟踪精确的梯度，减少前向过程中的量化损失。通过对几种常用网络结构的大量实验表明，用DSQ训练低比特神经网络的性能始终优于目前最先进的量化方法。此外，与开源的8位高性能推理框架NCNN相比，我们第一个在ARM架构的设备上部署2到4位DSQ的有效实现速度提高了1.7倍。

2020-08-04

2.1K0

点击加载更多

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态