学习
实践
活动
工具
TVP
写文章

芯片上的神经网络

公众号的第一篇笔记基于硅光芯片的深度学习 介绍了MIT研究组在硅光芯片上实现机器学习的实验进展。一年多之后,7月份以来又有好几篇相关的进展报道。 第一篇进展是由斯坦福大学范汕洄研究组完成,他们提出了基于反向传播训练神经网络的新方案。 而使用光学神经网络的方法,光经过光路的时间非常短,可以大大降低矩阵乘法所需的时间。 神经网络的示意图如下,可以将每一层神经元的数值看成一维向量,这些向量之间的转换即对应矩阵的乘法。 ? NIST研究组采用对光芯片显微成像的方法,借助于GaAs传感器阵列,得到整个芯片的成像图案,后续在通过对光斑的信号处理,得到每个端口的强度。下图是他们的一幅芯片成像图案, ? 如果后续想以此平台进行光学神经网络的演示,还是存在很多问题的。SiN波导的热光系数比较小,基于热光效应的相移器调节能力较弱。

43720

专访 | 陈云霁:加速芯片神经网络芯片的最终形态

但最前沿的研究,当属神经网络芯片,如IBM的TrueNorth,我国的DianNao(寒武纪)。 当然,神经网络芯片要走出实验室进入市场应用并不容易。 然则神经网络芯片的何种研发路线更合乎计算机科学和生物学的发展趋势?神经网络芯片产品是否会完全颠覆现有的冯诺依曼架构体系?中国的神经网络芯片研发水平在全球处于什么样的地位? 软件、算法从业人员需要为神经网络芯片做哪些准备? 他强调,神经网络芯片的优势不在于突破了冯诺依曼架构,关键是智能能力、处理速度和能耗。把输入输出数据结构封装好,CPU和神经网络芯片之间利用一些现有的异构计算技术,很容易各司其职。 陈云霁:人脑是一个神经网络。从信息的角度看,神经网络芯片是智能硬件的核心,就像是科学计算时代的CPU一样。目前神经网络芯片主要有两种思路,一种是以智能算法根本,适当借鉴生物,我们的寒武纪是这一类。

81940
  • 广告
    关闭

    热门业务场景教学

    个人网站、项目部署、开发环境、游戏服务器、图床、渲染训练等免费搭建教程,多款云服务器20元起。

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    AI芯片之卷积神经网络原理

    卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。 对比:卷积神经网络、全连接神经网络 ? 左图:全连接神经网络(平面),组成:输入层、激活函数、全连接层 右图:卷积神经网络(立体),组成:输入层、卷积层、激活函数、池化层、全连接层 在卷积神经网络中有一个重要的概念:深度 卷积层 卷积:在原始的输入上进行特征的提取 在卷积神经网络中,有一个非常重要的特性:权值共享。 注意:传统的卷积神经网络层数越多并以意味着效果更好。而在2016年推出了深度残差网络达到了152层。后续讲介绍。 那么训练一个VGGNet有多少内存开销呢? ?

    71230

    芯片上的全光脉冲神经网络

    Nature昨天刊登了德国明斯特大学的一篇最新进展,研究人员在光芯片上实现了脉冲神经网络(spike neural network)。先睹为快,这篇笔记主要介绍下这篇进展。 关于相变材料(phase changing material, 以下简称PCM), 小豆芽之前的一篇笔记 基于光芯片的内存内计算(memory-in computing)提到过。 基于这一性质,它可以作为神经网络的权重单元(weights),用来调控SiN波导中的光强, ? (图片来自文献1) 光脉冲神经网络的结构如下图所示, ? 进一步,他们提出了更复杂的光学脉冲神经网络结构,证明该结构的可扩展性。神经网络中的每一层结构,如下图所示。 小豆芽的几点comment: 1) 神经网络所需的功能单元全部都可以在光芯片内实现,而MIT研究组的方案中激活函数是通过片外电学方法实现。这是该方案的一个优势和新颖之处。

    72130

    面向低功耗AI芯片上的神经网络设计

    【GiantPandaCV导语】这篇文章为大家介绍了一下面向低功耗AI芯片上的神经网络设计,随着这几年神经网络和硬件(CPU,GPU,FPGA,ASIC)的迅猛发展,深度学习在包括互联网,自动驾驶,金融 感兴趣的同学可以了解一下有关如何面向AI芯片来设计神经网络。 一、目前算法和硬件co-design的一个大背景 从硬件方面来看,我们都知道,深度神经网络中的计算都是大量的稠密型运算。 那么其实,可以对上面讲的这些硬件进行一个归类,CPU,GPU叫做通用性芯片。ASIC叫做定制化芯片,而FPGA叫做半定制化芯片。 Google的TPU就是采用了定制化芯片的设计。 各种硬件用于前向推理的优缺点 现在来看,要想设计一款适合深度神经网络芯片,我们需要其具备什么特性呢? 支持主流的视觉任务(inference),不仅仅要支持int8,还要支持fp。 参考资料 http://www.rle.mit.edu/eems/wp-content/uploads/2017/11/2017_pieee_dnn.pdf 干货 | 地平线:面向低功耗 AI 芯片上视觉任务的神经网络设计

    75161

    深度学习“引擎”之争:GPU加速还是专属神经网络芯片

    另外一个是DIGITS,用于设计、训练和验证图像分类深度神经网络的多合一图形系统。 采用GPU加速的深度学习的企业 GPU还是专用芯片? 我们知道,CPU和FPGA已经显示出深度学习负载上的能力,而IBM主导的SyNAPSE巨型神经网络芯片(类人脑芯片),在70毫瓦的功率上提供100万个“神经元”内核、2.56亿个“突触”内核以及4096 例如,科大讯飞为打造“讯飞超脑”,除了GPU,还考虑借助深度定制的人工神经网络专属芯片来打造更大规模的超算平台集群。 不过,在二者尚未产品化的今天,NVIDIA并不担忧GPU会在深度学习领域失宠。 相比之下,FPGA可编程芯片或者是人工神经网络专属芯片对于植入服务器以及编程环境、编程能力要求更高,还缺乏通用的潜力,不适合普及。

    85340

    【业界】MIT新研发的芯片神经网络功耗降低95%

    近日,麻省理工学院(MIT)的工程师们设计了一种芯片,这种芯片能将神经网络计算的速度提高3到7倍,同时还能将耗电量降低94-95%。 这大大减少了在芯片存储器和处理器之间来回传输数据的需要,这可能使得我们可以在智能手机上运行神经网络,甚至也可将其嵌入到家用电器中。 ? 这种方法需要二进制权重的连接,而不是一个值的范围,但先前的理论工作认为这种方法不会显著地影响精度,并且研究人员发现芯片的结果一般在2%到3%的传统非二进制神经网络标准内的计算机上运行。 这并不是研究人员第一次在内存中创建芯片来减少神经网络的功耗,但这是第一次使用这种方法来运行基于图像的人工智能应用程序的强大的卷积神经网络。 要让这些芯片运行像云服务中发现的那样强大的神经网络而不会过快地消耗电池,这将是一个巨大的挑战。

    36760

    面向嵌入式 AI 芯片上视觉任务的神经网络设计

    雷锋网 AI 研习社直播课上地平线初创人员黄李超介绍了 AI 芯片的背景以及怎么从算法角度去设计适合嵌入式平台高效的神经网络模型,并应用于视觉任务中。 提纲 介绍当前 AI 芯片概况,包括现有的深度学习硬件发展情况,以及为何要为神经网络去设计专用芯片。 当前 AI 芯片发展的现状 可以首先阅读《AI芯片的历史和现状》。大家都知道,最早神经网络是运行在 CPU 上的。 虽然刚刚提了很多神经网络加速的解决方案,但是最合适的还是 CPU+专用芯片。我们需要专用 AI 芯片的主要原因是: 虽然现在的硬件工艺不断在发展,但是发展的速度很难满足深度学习对计算力的需求。 我们可以看到芯片在这几年工艺的发展变得越来越慢,因此我们需要依靠专门的芯片架构去提升神经网络对计算平台的需求。 ?

    70050

    美NIST研制出可模拟神经网络的硅光芯片

    美国国家标准技术研究院(NIST)的科研人员研制出一种硅光芯片,可精确模拟神经网络。 美国国家标准技术研究院(NIST)的科研人员研制出了一种硅光芯片,可精确地在微型类脑网络中传导光信号,是神经网络的一种潜在设计方案。 “在同时具有光子和电子元件的系统中,光子占据的芯片区域随着通信节点数量及其连接程度的增加而迅速增加。对于密集相连的系统,波导的必要数量可能增加到一块板无法容纳的地步。” 这种复杂的路由方式实现了前馈神经网络两层之间的路由,每层10个神经元,具有全连通性。” 研究所采用的三维设计实现了复杂路由方法,这对模拟神经系统不可或缺。 神经网络已经在解决复杂问题方面展现出了非凡的能力,如快速图案识别、数据分析等。利用光能消除电荷带来的干扰,信号会传得更快、更远。

    39220

    盘点2016-2017 EDA及芯片领域的神经网络热点论文

    来信来稿请联系:kunyuan@tencent.com 盘点2016-2017 EDA及芯片领域的神经网络热点论文 1. 引言 近年来随着神经网络的不断流行,在计算机体系结构与硬件领域出现了一大批针对各类神经网络进行芯片设计和优化的论文(如中科院计算所的DianNao系列论文等)。 EDA领域的神经网络关注技术 神经网络是计算密集型和存储密集型的应用,并且在设计神经网络芯片时,需要消耗大量的能量,因此在2016年EDA三大会议上收录的论文大都从问题出发,分别从优化计算、降低存储空间 3.2神经网络的处理器芯片设计 除了采用FPGA作为原型系统之外,设计针对特定应用的神经网络芯片也是一个重要方向。 同时我们也看到很多研究人员将其他领域的方法迁移到神经网络优化中,以及将新材料应用于神经网络设计中,随着研究的深入,相信我们会在2017年看到越来越多这样的研究工作,设计出新型的芯片和软硬件系统。

    931150

    前沿 | MIT开发神经网络专用芯片:能耗降低95%,适合移动端设备

    选自MIT News 作者:Larry Hardesty 机器之心编译 参与:路雪、刘晓坤 近日,MIT 研究人员开发了一种专用芯片,可以提高神经网络计算的速度,比之前的芯片速度提升三到七倍,同时将能耗降低 现在,MIT 研究人员开发了一种专用芯片,提高神经网络计算的速度,比之前的芯片速度提升三到七倍,同时将能耗降低 93% - 96%。 这使得在智能手机本地运行神经网络,甚至在家用电器上嵌入神经网络变成可能。 「通用处理器模型中,芯片一部分是内存,另一部分是处理器,进行计算时必须把数据在二者之间来回传输。」 MIT 研究人员的新型芯片通过更准确地模仿大脑实现效率提升。 该芯片中,节点的输入值被转换成电压,然后乘适当的权重。对乘积求和就是把电压连接起来。 在实验中,他们在传统计算机上运行了一个神经网络的完整实现,并在他们的芯片上运行了同等的二值权重神经网络。他们的芯片运行结果准确率只比传统网络降低了 2 到 3 个百分点。

    28370

    超低功耗AI芯片:神经脉冲只需同类神经网络能量的0.02%

    机器之心报道 机器之心编辑部 这种人工智能芯片达到了新的超低功耗。 人类大脑并不是很大,却承载着所有的计算任务。出于这一原因,许多研究者开始对创建模拟大脑神经信号处理的人工网络感兴趣。 这种人工网络被称为脉冲神经网络(spiking neural networks, SNN)。 脉冲神经网络最早由 Maass 教授于 1997 年提出,它是基于大脑运行机制的新一代人工神经网络,被誉为第三代神经网络模型。 BTBT 方法还省去了用较大电容来存储大量的电流,为芯片上更小的电容铺平了道路,从而节省了空间。 同时,他们宣布了一种新的低功耗 AI 芯片,它可以实现所谓的脉冲神经网络

    20530

    高通向开发者开放AI SDK,将推出AI芯片增强神经网络

    而为了让人工智能体验更好,有的公司设计了专门的AI芯片,增强神经网络。还有的公司则在尝试降低AI本身的性能需求,使其能更容易的整合到手机芯片中。高通目前的计划就是更倾向于后者。 ? 他说,开发专属神经运算移动芯片只是迟早的事。 高通表示,Facebook将会成为率先整合该SDK的厂商之一,他们目前正在用它来加速自己手机应用中的增强现实滤镜。 正如前面提到的,微软,Graphcore以及ARM都在设计专门的AI芯片,作为全球最大的芯片制造商,高通也证实他们计划推出AI芯片。但何时实现这一目标高通暂未公布。

    99150

    负电压转换芯片_芯片电路原理

    首先,我们了简单的分析一下电路的工作原理。4个MOS管,Q1,Q2一组,Q3,Q4一组。U1是15系列单片机,U2是一个反相器。前面的电容C1负责从电源搬运电荷...

    14510

    AI 芯片和传统芯片的区别

    来源:内容来自「知乎@汪鹏 」 所谓的AI芯片,一般是指针对AI算法的ASIC(专用芯片)。 传统的CPU、GPU都可以拿来执行AI算法,但是速度慢,性能低,无法实际商用。 因为,芯片上的存储不够大,所以数据会存储在DRAM中,从DRAM取数据很慢的,所以,乘法逻辑往往要等待。 目前来看,神经网络的尺寸是越来越大,参数越来越多,遇到大型NN模型,训练需要花几周甚至一两个月的时候,你会耐心等待么?突然断电,一切重来? 另外,寒武纪的NPU,也是专门针对神经网络的,与TPU类似。 谷歌的TPU,寒武纪的DianNao,这些AI芯片刚出道的时候,就是用CPU/GPU来对比的。 无图无真相,是吧? 上个世纪出现神经网络的时候,那一定是用CPU计算的。 比特币刚出来,那也是用CPU在挖。目前已经进化成ASIC矿机了。比特大陆了解一下。

    83850

    Vcsel芯片和边发射激光芯片

    边发光激光芯片依靠衬底晶体的解离面作为谐振腔面,在大功率以及高性能要求的芯片上技术已经成熟,但是也存在很多不足,例如激光性能对腔面的要求较高,不能用常规的晶圆切割,比如砂轮刀片、激光切割等。 最近几年很多人都在研究Vcsel芯片,Vcsel芯片制造过程比边发射芯片简单,合格率也高很多,但是Vcsel也有它的局限性。可以从性能和结构上分析一下。 下图是边发射激光器和Vcsel芯片图。 但是我们知道Vcsel多是短波长类的激光,而对于光通信常用的1310&1550等波段则几乎没有该类芯片。 EEL和Vcsel芯片综合性能对比表: 边发射激光器可以做超大功率激光芯片,而Vcsel想要做大功率还是很有挑战的。 对此乾照光电在外延方向上优化外延量子阱,提高内量子效率,以及优化外延材料的热阻,改善器件散热特性;在芯片方向通过优化芯片设计结构,提高光电效率。

    43230

    芯片解密

    芯片解密又叫单片机解密,单片机破解,芯片破解,IC解密,但是这严格说来这几种称呼都不科学,但已经成了习惯叫法,我们把CPLD解密,DSP解密都习惯称为芯片解密。单片机只是能装载程序芯片的其中一个类。 能烧录程序并能加密的芯片还有DSP,CPLD,PLD,AVR,ARM等。也有专门设计有加密算法用于专业加密的芯片或设计验证厂家代码工作等功能芯片,该类芯片业能实现防止电子产品复制的目的。 如果在编程时加密锁定位被使能(锁定),就无法用普通编程器直接读取单片机内的程序,这就叫单片机加密或芯片加密。 单片机攻击者借助专用设备或者自制设备,利用单片机芯片设计上的漏洞或软件缺陷,通过多种技术手段,就可以从芯片中提取关键信息,获取单片机内程序这就叫芯片解密。 ? ? ? ? ? ? ? ? ? ?

    36610

    AIoT芯片

    WiFi/蓝牙芯片:数据传输的中心,远程交互的关键。 传感器:数据获取的中心,感知外界信号的关键。 AIoT四大核心 SoC芯片(System on Chip)又称系统级芯片,片上系统。 是将系统关键部件集成在一块芯片上,可以实现完整系统功能的芯片电路。 SoC是手机、平板、智能家电等智能化设备的核心芯片。 SoC芯片作为系统级芯片,集成有CPU、GPU、NPU、存储器、基带、ISP、DSP、WIFI、蓝牙等模块。 、PLC、DMA等周边接口,甚至LCD驱动电路都整合在单一芯片上,形成芯片级计算机。 国外厂商IDM模式为主,国内厂商Fabless模式为主:国外大厂如意法半导体、瑞萨电子、德州仪器、微芯、英飞凌采用IDM模式,集芯片设计、芯片制造、芯片封装和测试等多个产业链环节于一身;国外个别厂商如恩智浦以及大部分大陆厂商采用

    12010

    硬件加密芯片介绍 及 加密芯片选择(加密IC) 加密芯片原理

    前端时间有研究多款加密芯片,加密算法实现,以及激活成功教程可能,也有一些个人的观点,仅供参考; 一,加密芯片的来源及工作流程: 市面上的加密芯片,基本都是基于某款单片机,使用I2C或SPI等通讯,使用复杂加密算法加密来实现的 ,流程大致如下: 主控芯片生成随机码 –> 主控芯片给加密芯片发送明文 –> 加密芯片通过加密算法对明文进行加密生成密文 –> 加密芯片返回密文给主控芯片 –> 主控芯片对密文进行解密生成解密值 –> 主控芯片对解密值与之前明文进行对比, 比较值一致则认证通过(认证不通过可进行关机操作); (用户一般需要集成加密芯片商提供的解密库文件,调用指定库文件接口,来实现解密) 目前市面上的加密芯片种类繁多,从几毛钱到十几块钱价格不等 (仅个人认为): 1)价钱:在产品量大情况下,建议选择便宜的加密芯片,大批量产品价格能够在一元一下会比较合适(当然越便宜越好); 2)安全性:不同加密芯片,主要却别在于所选单片机不一样,加密芯片开发人员不一样 ,相对也会有一定安全性; 3)其他:①加密芯片最好选择有私有密钥的(这样针对不同客户的加密芯片就会有区别);②如果可能可以与加密芯片提供方要求,在原有加密算法基础上,集成一部分自己的数学运算进入到加密芯片算法内

    11210

    扫码关注腾讯云开发者

    领取腾讯云代金券