美国伯明翰大学团队使用Theano,Python,PYNQ和Zynq开发定点Deep Recurrent神经网络

可编程逻辑(PLD)是由一种通用的集成电路产生的,逻辑功能按照用户对器件编程来确定,用户可以自行编程把数字系统集成在PLD中。经过多年的发展,可编程逻辑器件由70年代的可编程逻辑阵列器件 (PLD) 发展到目前的拥有数千万门的现场可编程阵列逻辑 (FPGA), 随着人工智能研究的火热发展,FPGA的并行性已经在一些实时性很高的神经网络计算任务中得到应用。由于在FPGA上实现浮点数会耗费很多硬件资源,而定点数虽然精度有限,但是对于不同应用通过选择合适的字长精度仍可以保证收敛,且速度要比浮点数表示更快而且资源耗费更少, 已经使其成为嵌入式AI和机器学习应用程序的理想选择。

最新的证明点是英国伯明翰大学电子电气和系统工程系的Yufeng Hao和Steven Quigley最近发表的论文。论文标题为“在Xilinx FPGA上实现深度递归神经网络语言模型“,介绍了使用Python编程语言成功实现和训练基于固定点深度递归神经网络(DRNN); Theano数学库和多维数组的框架; 开源的基于Python的PYNQ开发环境; Digilent PYNQ-Z1开发板以及PYNQ-Z1板上的赛灵思Zynq Z-7020的片上系统SoC。Zynq-7000系列装载了双核ARM Cortex-A9处理器和28nm的Artix-7或Kintex-7可编程逻辑。在单片上集成了CPU,DSP以及ASSP,具备了关键分析和硬件加速能力以及混合信号功能,出色的性价比和最大的设计灵活性也是特点之一。使用Python DRNN硬件加速覆盖(一种赛灵思公司提出的硬件库,使用Python API在硬件逻辑和软件中建立连接并交换数据),两个合作者使用此设计为NLP(自然语言处理)应用程序实现了20GOPS(10亿次每秒)的处理吞吐量,优于早期基于FPGA的实现2.75倍到70.5倍。

论文的大部分讨论了NLP和LM(语言模型),“它涉及机器翻译,语音搜索,语音标记和语音识别”。本文随后讨论了使用Vivado HLS开发工具和Verilog语言实现DRNN LM硬件加速器,可以为PYNQ开发环境合成一个定制的硬件覆盖。由此产生的加速器包含五个过程元素(PE),能够在此应用程序中提供20GOPS的数据吞吐量。以下是设计的框图:

DRNN加速器框图

Vivado设计套件为下一代超高效率的C/C++和基于IP的设计提供了新的方法。融入了新的超快高效率设计方法集,用户可以实现10-15倍的效率的提升。Vivado HLS支持ISE和Vivado设计环境,可以通过集成C,C++和SystemC标准到赛灵思的可编程器件中而无需创建RTL模型,加快IP的创建。

这篇论文中包括了大量深入的技术细节,但是这一句话总结了这篇博客文章的理由:“更重要的是,我们展示了软件和硬件联合设计和仿真过程在神经网络领域的应用“。考虑到PYNQ-Z1开发板的售价为229美元,这种说法是完全正确的。

本文来自企鹅号 - FPGA开发圈媒体

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏吉浦迅科技

深度学习技术如何按照艺术大师的风格来绘制影片

多亏有了 Instagram 与 Snapchat,很简单就能在照片和影片上加入滤镜效果,但是要是能按照梵谷“星夜”或孟克“吶喊”的风格来重新绘制手机上的影片,...

2977
来自专栏机器之心

从GPU、TPU到FPGA及其它:一文读懂神经网络硬件平台战局

3854
来自专栏吉浦迅科技

深度学习技术如何判断药物治疗方法,以求在病患身上获得更佳的治疗结果

儿科加护病房里的处境是最危险的。 儿童来到这里时常带着复杂的慢性疾病,包括呼吸道疾病、创伤、术后照护的问题、败血症及其他传染病,其中有许多则是急诊患者。 洛杉矶...

3224
来自专栏CSDN技术头条

大脑记忆的建模

据国外媒体报道,科学家近日发现了大脑形成及失去记忆背后的数学方程。他们认为,这些方程可以精确地描述我们唤起回忆的方式。未来某一天,这一发现或许能帮助医生消除或改...

1798
来自专栏机器人网

工业机器人的末端执行器

工业机器人的手部也称末端执行器,它是装在工业机器人手腕上直接抓握工件或执行 作业的部件。对于整个工业机器人来说手部是完成作业好坏、作业柔性优劣的关键部件 之一。...

3237
来自专栏量子位

凭一张照片找到视频中你所有的镜头,包括背影丨商汤ECCV 2018论文

别担心,商汤可不是准备拍电影,而是提出了新的视频找人方法——也就是,无论一位电影明星演的是青春少女还是白发老人,无论TA露出了正脸还是侧颜,无论影片的镜头明亮鲜...

810
来自专栏PaddlePaddle

同学,用AI之桨来人工智能创意赛战一下哟

那么问题来了,是什么让机器如此智能呢?近期出现的一段视频给出了一个答案——深度学习

712
来自专栏CSDN技术头条

大数据时代需要转变的思维

大数据时代要转变的思维: 要分析所有数据,而不是少量的数据样本 要追求数据的纷繁复杂,而不是精确性 要关注事物的相关关系,而不是因果关系 1. 分析所有数据,而...

1917
来自专栏人工智能

23个深度学习库的排名

本文对 23 个深度学习库进行了排名,衡量的标准有三个:GitHub、Stack Overflow 以及谷歌搜索结果。TensorFlow 凭借最大、最活跃的社...

3758
来自专栏人工智能头条

贾扬清:希望Caffe成为深度学习领域的Hadoop

1684

扫码关注云+社区