AI异构

LV1
发表了文章

CVPR 2021 | LCQ:基于低比特量化精度提升的可学习压扩量化方法

量化深度神经网络是一种有效的减少内存消耗和提高推理速度的方法,因此适用于资源受限的设备。然而,极低位模型仍然很难达到与全精度模型相当的精度。为了解决这个问题,本...

AI异构
发表了文章

AdaQuant:改进训练后神经网络量化:分层校准和整数编程

训练后量化方法使用简单,并且只需要少量未标记的校准集,因此引起了相当大的关注。在没有明显过拟合的情况下,这个小的数据集不能用于微调模型。相反,这些方法仅使用校准...

AI异构
发表了文章

CVPR 2021 | AttentiveNAS:通过注意力采样改善神经架构搜索

神经结构搜索(NAS)在设计最先进的(SOTA)模型方面表现出了巨大的潜力,既准确又快速。近年来,BigNAS 等两阶段 NAS 将模型训练和搜索过程解耦,取得...

AI异构
发表了文章

​AdaRound:训练后量化的自适应舍入

在对神经网络进行量化时,主要方法是将每个浮点权重分配给其最接近的定点值。本文发现,这不是最佳的量化策略。本文提出了 AdaRound,一种用于训练后量化的更好的...

AI异构
发表了文章

APQ:联合搜索网络架构、剪枝和量化策略

本文提出APQ,以便在资源受限的硬件上进行有效的深度学习推理。与以前分别搜索神经体系结构,修剪策略和量化策略的方法不同,本文以联合方式优化它们。为了应对它带来的...

AI异构
发表了文章

万字综述 | 一文读懂知识蒸馏

近年来,深度神经网络在工业界和学术界都取得了成功,尤其是在计算机视觉任务方面。深度学习的巨大成功主要归因于其可扩展性以编码大规模数据并操纵数十亿个模型参数。但是...

AI异构
发表了文章

HAWQ-V2:基于Hessian迹的混合比特量化策略

量化是减少神经网络的内存占用和推理时间的有效方法。但是,超低精度量化可能会导致模型精度显着下降。解决此问题的一种有前途的方法是执行混合精度量化,其中更敏感的层保...

AI异构
发表了文章

HAWQ:基于 Hessian 的混合精度神经网络量化

在许多应用程序中部署神经网络时,模型大小和推理速度/功率已成为主要挑战。解决这些问题的一种有前途的方法是量化。但是,将模型统一量化为超低精度会导致精度显着下降。...

AI异构
发表了文章

Bi-Real-Net:通过改进表示能力和训练算法提高1-bit CNNs性能

深度卷积神经网络(CNN)由于精度高在视觉任务中已经有非常广泛的应用,但是 CNN 的模型过大限制了它在移动端的部署。模型压缩也因此变得尤为重要。在模型压缩方法...

AI异构
发表了文章

DARTS-:增加辅助跳连,走出搜索性能崩溃

尽管可微分架构搜索(DARTS)发展迅速,但它长期存在性能不稳定的问题,这极大地限制了它的应用。现有的鲁棒性方法是从由此产生的恶化行为中获取线索,而不是找出其原...

AI异构
发表了文章

GOLD-NAS:针对神经网络可微分架构搜索的一次大手术

DARTS的搜索空间非常有限,例如,对于每个边保留了一个运算符,每个节点固定接收两个前继输入,等等。这些约束有利于NAS搜索的稳定性,但它们也缩小了强大的搜索方...

AI异构
发表了文章

Additive Powers-of-Two (APoT) Quantization:硬件友好的非均匀量化方法

本文首先提出了Additive Powers-of-Two(APoT)加法二次幂量化,一种针对钟形和长尾分布的神经网络权重,有效的非均匀性量化方案。通过将所有量...

AI异构
发表了文章

GDFQ:基于Data-Free的低比特量化方法

针对无法获得原始数据情况,为消除数据依赖的同时获得比较好的量化效果。本文贡献在于:

AI异构
发表了文章

ZeroQ:基于Data-Free的30秒快速量化方法

量化是减少神经网络推理时间和减少内存占用的一种有前途的方法。但是,大多数现有的量化方法都需要访问原始训练数据集以在量化期间进行再训练。例如,由于隐私和安全性考虑...

AI异构
发表了文章

神经网络架构搜索——可微分搜索(DAAS)

神经架构搜索(NAS)的搜索成本为通过权值共享方法大大减少。这些方法通过优化所有可能的边缘和操作的超级网络,从而确定离散化的最佳子网,即修剪弱候选者。在操作或边...

AI异构
发表了文章

目标检测二值量化——BiDet

利用 XNOR-Net 的方法对目标检测网络直接进行二值化,网络中的信息冗余(如图(c)和(d)的XNOR的信息内卷)会造成大量的假正例(如图(a)所示)。

AI异构
发表了文章

神经网络低比特量化——TQT

可见,Asymmetric & Per-Channel & Real-valued scaling方法对量化的表达最为灵活,无论是简单网络还是难网络均能保证良好...

AI异构
发表了文章

神经网络低比特量化——LSQ+

与ReLU不同,在流行的高效架构中经常使用的较新的激活函数(如Swish,H-swish,Mish)也可能导致负激活值,正负范围出现偏差。典型的可学习量化方案(...

AI异构
发表了文章

神经网络低比特量化——LSQ

在推理时以低精度操作运行的深度网络比高精度具有功耗和存储优势,但需要克服随着精度降低而保持高精度的挑战。在这里,本文提出了一种训练此类网络的方法,即 Learn...

AI异构
发表了文章

神经网络低比特量化——DSQ

硬件友好的网络量化(如二进制/均匀量化)可以有效地加速推理,同时降低深度神经网络的内存消耗,这对于在资源有限的设备(如移动电话)上部署模型至关重要。然而,由于低...

AI异构

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券