AI异构

关注人工智能与异构计算
102 篇文章
21 人订阅

全部文章

AI异构

GOLD-NAS:针对神经网络可微分架构搜索的一次大手术

DARTS的搜索空间非常有限,例如,对于每个边保留了一个运算符,每个节点固定接收两个前继输入,等等。这些约束有利于NAS搜索的稳定性,但它们也缩小了强大的搜索方...

7430
AI异构

Additive Powers-of-Two (APoT) Quantization:硬件友好的非均匀量化方法

本文首先提出了Additive Powers-of-Two(APoT)加法二次幂量化,一种针对钟形和长尾分布的神经网络权重,有效的非均匀性量化方案。通过将所有量...

9542
AI异构

GDFQ:基于Data-Free的低比特量化方法

针对无法获得原始数据情况,为消除数据依赖的同时获得比较好的量化效果。本文贡献在于:

9250
AI异构

ZeroQ:基于Data-Free的30秒快速量化方法

量化是减少神经网络推理时间和减少内存占用的一种有前途的方法。但是,大多数现有的量化方法都需要访问原始训练数据集以在量化期间进行再训练。例如,由于隐私和安全性考虑...

10830
AI异构

神经网络架构搜索——可微分搜索(DAAS)

神经架构搜索(NAS)的搜索成本为通过权值共享方法大大减少。这些方法通过优化所有可能的边缘和操作的超级网络,从而确定离散化的最佳子网,即修剪弱候选者。在操作或边...

10330
AI异构

目标检测二值量化——BiDet

利用 XNOR-Net 的方法对目标检测网络直接进行二值化,网络中的信息冗余(如图(c)和(d)的XNOR的信息内卷)会造成大量的假正例(如图(a)所示)。

13620
AI异构

神经网络低比特量化——TQT

可见,Asymmetric & Per-Channel & Real-valued scaling方法对量化的表达最为灵活,无论是简单网络还是难网络均能保证良好...

24220
AI异构

神经网络低比特量化——LSQ+

与ReLU不同,在流行的高效架构中经常使用的较新的激活函数(如Swish,H-swish,Mish)也可能导致负激活值,正负范围出现偏差。典型的可学习量化方案(...

16720
AI异构

神经网络低比特量化——LSQ

在推理时以低精度操作运行的深度网络比高精度具有功耗和存储优势,但需要克服随着精度降低而保持高精度的挑战。在这里,本文提出了一种训练此类网络的方法,即 Learn...

19130
AI异构

神经网络低比特量化——DSQ

硬件友好的网络量化(如二进制/均匀量化)可以有效地加速推理,同时降低深度神经网络的内存消耗,这对于在资源有限的设备(如移动电话)上部署模型至关重要。然而,由于低...

12930
AI异构

神经网络架构搜索——可微分搜索(Cyclic-DARTS)​

近来,可微分架构搜索因其高效率、高性能的竞争优势引起了人们的极大关注。它在浅层网络中搜索最优架构,然后在深层评价网络中测量其性能。这导致架构搜索的优化与目标评价...

11620
AI异构

神经网络架构搜索——二值可微分搜索(BATS)

本文提出了二进制架构搜索(BATS),这是一个通过神经架构搜索(NAS)大幅缩小二进制神经网络与其实值对应的精度差距的框架。实验表明,直接将NAS 应用于二进制...

11120
AI异构

神经网络架构搜索——可微分搜索(Latency-DARTS)​

可微分的神经架构搜索方法在自动机器学习中盛行,主要是由于其搜索成本低,设计搜索空间灵活。然而,这些方法在优化网络方面存在困难,因此搜索到的网络往往对硬件不友好。...

11820
AI异构

神经网络架构搜索——可微分搜索(DARTS+)​

DARTS 算法有一个严重的问题,就是当搜索轮数过大时,搜索出的架构中会包含很多的 skip-connect,从而性能会变得很差。文章把这个现象叫做 Colla...

8620
AI异构

神经网络架构搜索——可微分搜索(Noisy DARTS)

目前 NAS 方法已经存在非常多,其中谷歌提出的 DARTS 方法,即可微分结构搜(Differentiable Architecture Search),引起...

6420
AI异构

神经网络架构搜索——可微分搜索(Fair-DARTS)​

在超网络训练架构参数过程中,两个节点之间是八个操作同时作用的, skip connections 作为操作的其中一员,相较于其他的操作来讲是起到了跳跃连接的作用...

7720
AI异构

神经网络架构搜索——可微分搜索(SGAS)​

NAS技术都有一个通病:在搜索过程中验证精度较高,但是在实际测试精度却没有那么高。传统的基于梯度搜索的DARTS技术,是根据block构建更大的超网,由于搜索的...

9430
AI异构

神经网络架构搜索——可微分搜索(PC-DARTS)

接着上面的P-DARTS来看,尽管上面可以在17 cells情况下单卡完成搜索,但妥协牺牲的是operation的数量,这明显不是个优秀的方案,故此文 Part...

10430
AI异构

神经网络架构搜索——可微分搜索(P-DARTS)

如上图所示,在DARTS中,搜索时候是以 8 cells with 50 epochs 来进行的,而evaluate时却以 20 cells,这bias造成了精...

9330
AI异构

神经网络架构搜索——可微分搜索(DARTS)

神经网络架构搜索之前主流的方法主要包括:强化学习,进化学习。他们的搜索空间都是不可微的,Differentiable Architecture Search 这...

13120

扫码关注云+社区

领取腾讯云代金券