专栏首页arxiv.org翻译专栏利用单穗混合输入编码训练高效的深穗神经网络

利用单穗混合输入编码训练高效的深穗神经网络

由于spike Neural Networks (snn)在事件驱动的神经形态硬件中提供了更高的计算效率,它已经成为传统深度学习框架的一个有吸引力的替代方案。然而,最先进的(SOTA) snn遭受高推断延迟,导致效率低下

输入编码和训练技术。最广泛使用的输入编码方案,如泊松速率编码,并没有利用snn的时间学习能力。本文提出了一种低延迟能量高效snn的训练框架,该框架在输入层采用混合编码方案,在第一个时间步直接应用图像的模拟像素值,在随后的时间步使用一种新的尖峰时间编码变体。特别的是,每个隐藏层的神经元被限制在每张图像上最多发射一次,这增加了激活稀疏性。为了训练这些混合编码的snn,我们提出了一种基于梯度下降的spike timing dependent backpropagation (STDB)机制,该机制使用了一种新的交叉熵损失函数,基于输出神经元的spike时间和膜电位。得到的snn减少了延迟和高激活稀疏性,显著提高了计算效率。特别地,我们评价了我们提出的训练方案在多个VGG架构上对CIFAR-10和CIFAR-100数据集的图像分类任务进行训练。在CIFAR-100数据集上,我们用5个时间步就获得了66.46%的最高精度,计算能量比等效的标准ANN少了约125倍。此外,与其他最先进的速率或临时编码SNN模型相比,我们提出的SNN执行5-300倍的推断速度。

Training Energy-Efficient Deep Spiking Neural Networks with Single-Spike Hybrid Input Encoding

Spiking Neural Networks (SNNs) have emerged as an attractive alternative to traditional deep learning frameworks, since they provide higher computational efficiency in event driven neuromorphic hardware. However, the state-of-the-art (SOTA) SNNs suffer from high inference latency, resulting from inefficient

input encoding and training techniques. The most widely used input coding schemes, such as Poisson based rate-coding, do not leverage the temporal learning capabilities of SNNs. This paper presents a training framework for low-latency energyefficient SNNs that uses a hybrid encoding scheme at the input layer in which the analog pixel values of an image are directly applied during the fifirst timestep and a novel variant of spike temporal coding is used during subsequent timesteps. In particular, neurons in every hidden layer are restricted to fire at most once per image which increases activation sparsity. To train these hybrid-encoded SNNs, we propose a variant of the gradient descent based spike timing dependent backpropagation (STDB) mechanism using a novel cross entropy loss function based on both the output neurons’ spike time and membrane potential. The resulting SNNs have reduced latency and high activation sparsity, yielding signifificant improvements in computational effificiency. In particular, we evaluate our proposed training scheme on image classification tasks from CIFAR-10 and CIFAR-100 datasets on

several VGG architectures. We achieve top-1 accuracy of 66.46% with 5 timesteps on the CIFAR-100 dataset with 125× less compute energy than an equivalent standard ANN. Additionally, our proposed SNN performs 5-300× faster inference compared to other state-of-the-art rate or temporally coded SNN models.

原文链接:https://arxiv.org/pdf/2107.12374.pdf

原文作者:Gourav Datta, Souvik Kundu, Peter A. Beerel

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 作者亲自修改论文 | 水稻检测

    在本研究中,研究者提出了一种有效的深度卷积神经网络(DCNN)结构,利用手持照相机拍摄的照片来检测水稻的生长阶段(DVS)。用不同的策略对DCNN模型进行了训练...

    计算机视觉研究院
  • GWAS杂谈 | FarmCPU结果里的effect到底代表什么?

    全基因组关联分析(Genome wide association study,GWAS)是一种挖掘调控某一性状基因最常用的方法。GWAS常用的模型为混合线性模型...

    生信小王子
  • 干货 | 利用手持摄像机图像通过卷积神经网络实时进行水稻检测(致敬袁老)

    在本研究中,研究者提出了一种有效的深度卷积神经网络(DCNN)结构,利用手持照相机拍摄的照片来检测水稻的生长阶段(DVS)。用不同的策略对DCNN模型进行了训练...

    计算机视觉研究院
  • 腾讯程序员不寻常的三年

    ? 程序员杨晓峰开始体会到一种前所未有的“快感”。 他所在的团队向 OpenJDK 国际开源社区主分支贡献的代码名列国内第一,受到了该开源社区的点名致谢,腾...

    腾源会
  • 腾讯程序员不寻常的三年

    ? 给腾讯所有的程序员三年,可以创造些什么?2018 年“930”是开源协同的起点,这场指尖上的技术热浪,滚滚前行已经三年。从逐步开源的代码,到社区生态的热烈...

    腾讯技术工程官方号
  • 线性约束学习的尖峰神经元(CS/AI)

    使用尖峰编码的神经元以精确的尖峰时序编码信息已显示出比速率编码方法更强大的计算能力。但是,大多数现有的用于加标神经元的监督学习算法都很复杂,并且时间复杂度较差。...

    用户8354439
  • 新基建下的城轨:传统的“面子”,科技的“里子”

    例如郑州,得益于京汉和陇海两条铁路交汇,让郑州从一个小县城一举成为中国东西、南北大动脉的纽带。

    用户2908108
  • 案例 | 农业银行“金穗汇”率先上线小程序 探索银行服务创新体验

    微信小程序引爆了人们对互联网新生态的无限畅想,近日,由微盛网络提供技术支持的农业银行无锡支行“金穗汇”小程序正式上线。 “金穗汇”小程序赋能银行“线下-线上”服...

    微盛企微管家
  • “请出示您的健康码”

    返城复工季已到,由于还处在防控关键期,社区、街道办、高速公路收费站、火车站、机场、办公园区……每个关卡都需要检查过往人员的健康状况,有时还需要开具健康证明才能...

    腾讯大讲堂
  • 面试java后端面经_4

    小姐姐问:你是如何看待感情的?或者问什么是爱情?(ps:这里你可以先说:吐车上200 然后继续分享下面故事)

    用户6055494
  • 再好的素质,再完美的规章,也无法取代人自身的素质和责任心

    德国人帕布斯·海恩提出一个在航空界关于飞行安全的法则: 每一起严重事故的背后,必然有29次轻微事故和300起未遂先兆以及1000起事故隐患,这个法则即是著名的海...

    数据和云
  • SAP最佳业务实践:FI–应收帐款(157)-17中国金税

    4.17 中国金税 在中国,所有的增值税一般纳税人必须通过金穗系统来开具增值税发票。 SAP系统提供与金穗系统的接口,以便利增值税发票的处理和打印。 销售与...

    SAP最佳业务实践
  • V神要退位?这10件假期发生的重大新闻,你错过了吗?

    以太坊创始人Vitalik Buterin在推特上表示,就算没有我,以太坊网络也“绝对会存活下去”。在被问及将来是否会从以太坊上退居二线时,V神表示,“已经在进...

    区块链大本营
  • 1分钟链圈 | EOS一个月价格竟上涨4倍!全球区块链游戏大会即将在美国旧金山举行

    区块链大本营
  • 元宇宙、混合办公趋势,虚拟城市联动全球分布式协作空间

    1973年,第四次中东战争爆发,石油危机出现,美国每天有大量的通勤者开车上下班。减少通勤、远程办公作为一种解决方案被提出。

    mixlab
  • 印度税务局调查比特币大户,需缴纳资本利得税​;交易所Poloniex强制所有用户完成KYC

    白话区块链 从入门到精通,看我就够了! 1.印度税务局调查比特币大户,需缴纳资本利得税 通过现场调查中收集的相关数据后,印度税务局表示,“只要有人通过加密货币大...

    企鹅号小编
  • 独家 | 在PyTorch中用图像混合(Mixup)增强神经网络(附链接)

    作者:Ta-Ying Cheng翻译:陈之炎校对:车前子 本文约2000字,建议阅读5分钟随机混合图像,效果是不是会更好?

    数据派THU
  • 全球最大的50家银行在区块链领域的布局(下)

    本文选取了美国银行家杂志The Banker排出的全球银行前50家,分析了全球规模最大的50家银行在区块链领域的布局。

    点滴科技资讯
  • 【AIDL专栏】陶建华:深度神经网络与语音(附PPT)

    “人工智能前沿讲习班”(AIDL)由中国人工智能学会主办,旨在短时间内集中学习某一领域的基础理论、最新进展和落地方向,并促进产、学、研相关从业人员的相互交流。对...

    马上科普尚尚

扫码关注云+社区

领取腾讯云代金券