首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

芯片上的神经网络

公众号的第一篇笔记基于硅光芯片的深度学习 介绍了MIT研究组在硅光芯片上实现机器学习的实验进展。一年多之后,7月份以来又有好几篇相关的进展报道。...第一篇进展是由斯坦福大学范汕洄研究组完成,他们提出了基于反向传播训练神经网络的新方案。...而使用光学神经网络的方法,光经过光路的时间非常短,可以大大降低矩阵乘法所需的时间。 神经网络的示意图如下,可以将每一层神经元的数值看成一维向量,这些向量之间的转换即对应矩阵的乘法。 ?...NIST研究组采用对光芯片显微成像的方法,借助于GaAs传感器阵列,得到整个芯片的成像图案,后续在通过对光斑的信号处理,得到每个端口的强度。下图是他们的一幅芯片成像图案, ?...如果后续想以此平台进行光学神经网络的演示,还是存在很多问题的。SiN波导的热光系数比较小,基于热光效应的相移器调节能力较弱。

91220
您找到你想要的搜索结果了吗?
是的
没有找到

专访 | 陈云霁:加速芯片神经网络芯片的最终形态

但最前沿的研究,当属神经网络芯片,如IBM的TrueNorth,我国的DianNao(寒武纪)。 当然,神经网络芯片要走出实验室进入市场应用并不容易。...然则神经网络芯片的何种研发路线更合乎计算机科学和生物学的发展趋势?神经网络芯片产品是否会完全颠覆现有的冯诺依曼架构体系?中国的神经网络芯片研发水平在全球处于什么样的地位?...软件、算法从业人员需要为神经网络芯片做哪些准备?...他强调,神经网络芯片的优势不在于突破了冯诺依曼架构,关键是智能能力、处理速度和能耗。把输入输出数据结构封装好,CPU和神经网络芯片之间利用一些现有的异构计算技术,很容易各司其职。...陈云霁:人脑是一个神经网络。从信息的角度看,神经网络芯片是智能硬件的核心,就像是科学计算时代的CPU一样。目前神经网络芯片主要有两种思路,一种是以智能算法根本,适当借鉴生物,我们的寒武纪是这一类。

1K40

AI芯片之卷积神经网络原理

卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。...对比:卷积神经网络、全连接神经网络 ?...左图:全连接神经网络(平面),组成:输入层、激活函数、全连接层 右图:卷积神经网络(立体),组成:输入层、卷积层、激活函数、池化层、全连接层 在卷积神经网络中有一个重要的概念:深度 卷积层 卷积:在原始的输入上进行特征的提取...在卷积神经网络中,有一个非常重要的特性:权值共享。...注意:传统的卷积神经网络层数越多并以意味着效果更好。而在2016年推出了深度残差网络达到了152层。后续讲介绍。 那么训练一个VGGNet有多少内存开销呢? ?

1.2K30

芯片上的全光脉冲神经网络

Nature昨天刊登了德国明斯特大学的一篇最新进展,研究人员在光芯片上实现了脉冲神经网络(spike neural network)。先睹为快,这篇笔记主要介绍下这篇进展。...关于相变材料(phase changing material, 以下简称PCM), 小豆芽之前的一篇笔记 基于光芯片的内存内计算(memory-in computing)提到过。...基于这一性质,它可以作为神经网络的权重单元(weights),用来调控SiN波导中的光强, ? (图片来自文献1) 光脉冲神经网络的结构如下图所示, ?...进一步,他们提出了更复杂的光学脉冲神经网络结构,证明该结构的可扩展性。神经网络中的每一层结构,如下图所示。...小豆芽的几点comment: 1) 神经网络所需的功能单元全部都可以在光芯片内实现,而MIT研究组的方案中激活函数是通过片外电学方法实现。这是该方案的一个优势和新颖之处。

1.4K30

面向低功耗AI芯片上的神经网络设计

【GiantPandaCV导语】这篇文章为大家介绍了一下面向低功耗AI芯片上的神经网络设计,随着这几年神经网络和硬件(CPU,GPU,FPGA,ASIC)的迅猛发展,深度学习在包括互联网,自动驾驶,金融...感兴趣的同学可以了解一下有关如何面向AI芯片来设计神经网络。 一、目前算法和硬件co-design的一个大背景 从硬件方面来看,我们都知道,深度神经网络中的计算都是大量的稠密型运算。...那么其实,可以对上面讲的这些硬件进行一个归类,CPU,GPU叫做通用性芯片。ASIC叫做定制化芯片,而FPGA叫做半定制化芯片。 Google的TPU就是采用了定制化芯片的设计。...各种硬件用于前向推理的优缺点 现在来看,要想设计一款适合深度神经网络芯片,我们需要其具备什么特性呢? 支持主流的视觉任务(inference),不仅仅要支持int8,还要支持fp。...参考资料 http://www.rle.mit.edu/eems/wp-content/uploads/2017/11/2017_pieee_dnn.pdf 干货 | 地平线:面向低功耗 AI 芯片上视觉任务的神经网络设计

1.4K61

深度学习“引擎”之争:GPU加速还是专属神经网络芯片

另外一个是DIGITS,用于设计、训练和验证图像分类深度神经网络的多合一图形系统。...采用GPU加速的深度学习的企业 GPU还是专用芯片?...我们知道,CPU和FPGA已经显示出深度学习负载上的能力,而IBM主导的SyNAPSE巨型神经网络芯片(类人脑芯片),在70毫瓦的功率上提供100万个“神经元”内核、2.56亿个“突触”内核以及4096...例如,科大讯飞为打造“讯飞超脑”,除了GPU,还考虑借助深度定制的人工神经网络专属芯片来打造更大规模的超算平台集群。 不过,在二者尚未产品化的今天,NVIDIA并不担忧GPU会在深度学习领域失宠。...相比之下,FPGA可编程芯片或者是人工神经网络专属芯片对于植入服务器以及编程环境、编程能力要求更高,还缺乏通用的潜力,不适合普及。

1.2K40

【业界】MIT新研发的芯片神经网络功耗降低95%

近日,麻省理工学院(MIT)的工程师们设计了一种芯片,这种芯片能将神经网络计算的速度提高3到7倍,同时还能将耗电量降低94-95%。...这大大减少了在芯片存储器和处理器之间来回传输数据的需要,这可能使得我们可以在智能手机上运行神经网络,甚至也可将其嵌入到家用电器中。 ?...这种方法需要二进制权重的连接,而不是一个值的范围,但先前的理论工作认为这种方法不会显著地影响精度,并且研究人员发现芯片的结果一般在2%到3%的传统非二进制神经网络标准内的计算机上运行。...这并不是研究人员第一次在内存中创建芯片来减少神经网络的功耗,但这是第一次使用这种方法来运行基于图像的人工智能应用程序的强大的卷积神经网络。...要让这些芯片运行像云服务中发现的那样强大的神经网络而不会过快地消耗电池,这将是一个巨大的挑战。

59960

美NIST研制出可模拟神经网络的硅光芯片

美国国家标准技术研究院(NIST)的科研人员研制出一种硅光芯片,可精确模拟神经网络。...美国国家标准技术研究院(NIST)的科研人员研制出了一种硅光芯片,可精确地在微型类脑网络中传导光信号,是神经网络的一种潜在设计方案。...“在同时具有光子和电子元件的系统中,光子占据的芯片区域随着通信节点数量及其连接程度的增加而迅速增加。对于密集相连的系统,波导的必要数量可能增加到一块板无法容纳的地步。”...这种复杂的路由方式实现了前馈神经网络两层之间的路由,每层10个神经元,具有全连通性。” 研究所采用的三维设计实现了复杂路由方法,这对模拟神经系统不可或缺。...神经网络已经在解决复杂问题方面展现出了非凡的能力,如快速图案识别、数据分析等。利用光能消除电荷带来的干扰,信号会传得更快、更远。

56220

面向嵌入式 AI 芯片上视觉任务的神经网络设计

雷锋网 AI 研习社直播课上地平线初创人员黄李超介绍了 AI 芯片的背景以及怎么从算法角度去设计适合嵌入式平台高效的神经网络模型,并应用于视觉任务中。...提纲 介绍当前 AI 芯片概况,包括现有的深度学习硬件发展情况,以及为何要为神经网络去设计专用芯片。...当前 AI 芯片发展的现状 可以首先阅读《AI芯片的历史和现状》。大家都知道,最早神经网络是运行在 CPU 上的。...虽然刚刚提了很多神经网络加速的解决方案,但是最合适的还是 CPU+专用芯片。我们需要专用 AI 芯片的主要原因是: 虽然现在的硬件工艺不断在发展,但是发展的速度很难满足深度学习对计算力的需求。...我们可以看到芯片在这几年工艺的发展变得越来越慢,因此我们需要依靠专门的芯片架构去提升神经网络对计算平台的需求。 ?

1.1K60

盘点2016-2017 EDA及芯片领域的神经网络热点论文

来信来稿请联系:kunyuan@tencent.com 盘点2016-2017 EDA及芯片领域的神经网络热点论文 1....引言 近年来随着神经网络的不断流行,在计算机体系结构与硬件领域出现了一大批针对各类神经网络进行芯片设计和优化的论文(如中科院计算所的DianNao系列论文等)。...EDA领域的神经网络关注技术 神经网络是计算密集型和存储密集型的应用,并且在设计神经网络芯片时,需要消耗大量的能量,因此在2016年EDA三大会议上收录的论文大都从问题出发,分别从优化计算、降低存储空间...3.2神经网络的处理器芯片设计 除了采用FPGA作为原型系统之外,设计针对特定应用的神经网络芯片也是一个重要方向。...同时我们也看到很多研究人员将其他领域的方法迁移到神经网络优化中,以及将新材料应用于神经网络设计中,随着研究的深入,相信我们会在2017年看到越来越多这样的研究工作,设计出新型的芯片和软硬件系统。

1.4K150

前沿 | MIT开发神经网络专用芯片:能耗降低95%,适合移动端设备

选自MIT News 作者:Larry Hardesty 机器之心编译 参与:路雪、刘晓坤 近日,MIT 研究人员开发了一种专用芯片,可以提高神经网络计算的速度,比之前的芯片速度提升三到七倍,同时将能耗降低...现在,MIT 研究人员开发了一种专用芯片,提高神经网络计算的速度,比之前的芯片速度提升三到七倍,同时将能耗降低 93% - 96%。...这使得在智能手机本地运行神经网络,甚至在家用电器上嵌入神经网络变成可能。 「通用处理器模型中,芯片一部分是内存,另一部分是处理器,进行计算时必须把数据在二者之间来回传输。」...MIT 研究人员的新型芯片通过更准确地模仿大脑实现效率提升。 该芯片中,节点的输入值被转换成电压,然后乘适当的权重。对乘积求和就是把电压连接起来。...在实验中,他们在传统计算机上运行了一个神经网络的完整实现,并在他们的芯片上运行了同等的二值权重神经网络。他们的芯片运行结果准确率只比传统网络降低了 2 到 3 个百分点。

39570

超低功耗AI芯片:神经脉冲只需同类神经网络能量的0.02%

机器之心报道 机器之心编辑部 这种人工智能芯片达到了新的超低功耗。 人类大脑并不是很大,却承载着所有的计算任务。出于这一原因,许多研究者开始对创建模拟大脑神经信号处理的人工网络感兴趣。...这种人工网络被称为脉冲神经网络(spiking neural networks, SNN)。...脉冲神经网络最早由 Maass 教授于 1997 年提出,它是基于大脑运行机制的新一代人工神经网络,被誉为第三代神经网络模型。...BTBT 方法还省去了用较大电容来存储大量的电流,为芯片上更小的电容铺平了道路,从而节省了空间。...同时,他们宣布了一种新的低功耗 AI 芯片,它可以实现所谓的脉冲神经网络

65630

【FPGA 芯片设计】FPGA 简介 ( FPGA 芯片架构 | FPGA 芯片相对于传统芯片的优点 )

文章目录 一、FPGA 简介 二、FPGA 架构 三、FPGA 芯片相对于传统芯片的优点 一、FPGA 简介 ---- 摩尔定律 : 价格不变 , 在集成电路上 电子元器件的数量 , 18 ~ 24 个月增加一倍...Gate Array , 中文名称为 " 现场可编程门阵列 " ; 传统芯片功能一旦固定后 , 其 功能不可变 , 与之相对的 FPGA 芯片的功能是可变的 ; 门阵列 中的 门 指的是 " 门电路..., 型号是 FPGA-XC2064 , 于 1985 年问世 , 该芯片采用的是 2 微米的制程工艺 , 2000 纳米 , 当前主流的 FPGA 芯片制程工艺是 14 ~ 45 纳米 ; 下图是...BRAM , DSP 逻辑块 , 相比于第一代的 CLB , 增加了 BRAM , DSP ; HSSIO : High Speed Serial I/O , 高速串行 IO 模块 ; 三、FPGA 芯片相对于传统芯片的优点...---- FPGA 芯片相对于传统芯片的优点 : 性能高 : FPGA 芯片可 并行处理 , 性能很高 ; 上市时间短 : 与传统的 ASIC 芯片相比 , FPGA 灵活性更高 , 可以进行快速原型验证

1.5K10

神经网络要从原子抓起:原来白花花的银子才是神经芯片的未来

编译 | ziqi Zhang 审校 | 波波 最近几年,神经网络、深度学习的风靡程度简直可以跟当年美国19世纪中期的淘金热同日而语。大量研究者从传统的“机器学习”方法转向了对“神经网络”的研究。...的确,一方面由于大量训练数据作为支撑,另一方面其内部的原理模仿了人类大脑神经网络的基本构造和功能,使得“神经网络”这一方法获得了不错的效果。...它能真正模仿人类大脑神经的结构和功能,而不再需要依靠代码构造假的神经网络。...其实,在这看似杂乱无章的背后,是一种有序的科学,因为这些纳米级的乱网恰恰是在模仿大脑内部的神经网络。该网络每平方厘米所拥有的人造突触梳理大约是10亿,这跟真实的大脑神经网络处在同样的水平。...银质神经网络(左),将其嵌入到芯片中心的神经元芯片(右),神经元芯片仍然保持了方形网格的外壳,允许用户将信号作为输入并可以测量输出信号 Nugent表示,到目前为止,这些结果仅仅是证明了神经元芯片原则上的可行性

68650

Vcsel芯片和边发射激光芯片

边发光激光芯片依靠衬底晶体的解离面作为谐振腔面,在大功率以及高性能要求的芯片上技术已经成熟,但是也存在很多不足,例如激光性能对腔面的要求较高,不能用常规的晶圆切割,比如砂轮刀片、激光切割等。...最近几年很多人都在研究Vcsel芯片,Vcsel芯片制造过程比边发射芯片简单,合格率也高很多,但是Vcsel也有它的局限性。可以从性能和结构上分析一下。 下图是边发射激光器和Vcsel芯片图。...但是我们知道Vcsel多是短波长类的激光,而对于光通信常用的1310&1550等波段则几乎没有该类芯片。...EEL和Vcsel芯片综合性能对比表: 边发射激光器可以做超大功率激光芯片,而Vcsel想要做大功率还是很有挑战的。...对此乾照光电在外延方向上优化外延量子阱,提高内量子效率,以及优化外延材料的热阻,改善器件散热特性;在芯片方向通过优化芯片设计结构,提高光电效率。

1.4K30

AI 芯片和传统芯片的区别

来源:内容来自「知乎@汪鹏 」 所谓的AI芯片,一般是指针对AI算法的ASIC(专用芯片)。 传统的CPU、GPU都可以拿来执行AI算法,但是速度慢,性能低,无法实际商用。...因为,芯片上的存储不够大,所以数据会存储在DRAM中,从DRAM取数据很慢的,所以,乘法逻辑往往要等待。...目前来看,神经网络的尺寸是越来越大,参数越来越多,遇到大型NN模型,训练需要花几周甚至一两个月的时候,你会耐心等待么?突然断电,一切重来?...另外,寒武纪的NPU,也是专门针对神经网络的,与TPU类似。 谷歌的TPU,寒武纪的DianNao,这些AI芯片刚出道的时候,就是用CPU/GPU来对比的。 无图无真相,是吧?...上个世纪出现神经网络的时候,那一定是用CPU计算的。 比特币刚出来,那也是用CPU在挖。目前已经进化成ASIC矿机了。比特大陆了解一下。

1.5K50

芯片解密

芯片解密又叫单片机解密,单片机破解,芯片破解,IC解密,但是这严格说来这几种称呼都不科学,但已经成了习惯叫法,我们把CPLD解密,DSP解密都习惯称为芯片解密。单片机只是能装载程序芯片的其中一个类。...能烧录程序并能加密的芯片还有DSP,CPLD,PLD,AVR,ARM等。也有专门设计有加密算法用于专业加密的芯片或设计验证厂家代码工作等功能芯片,该类芯片业能实现防止电子产品复制的目的。...如果在编程时加密锁定位被使能(锁定),就无法用普通编程器直接读取单片机内的程序,这就叫单片机加密或芯片加密。...单片机攻击者借助专用设备或者自制设备,利用单片机芯片设计上的漏洞或软件缺陷,通过多种技术手段,就可以从芯片中提取关键信息,获取单片机内程序这就叫芯片解密。 ? ? ? ? ? ? ? ? ? ?

1.5K10
领券