来源@知乎 月臻
脉冲神经网络( Spiking neural network-SNN ) 是更接近自然神经网络的人工神经网络。除了神经元和突触状态之外,SNN 还将时间概念纳入其操作模型。这个想法是, SNN 中的神经元不会在每个传播周期传输信息(就像典型的多层感知器网络一样),而是仅在膜电位发生时才传输信息 - 与膜电荷相关的神经元的内在质量 - 达到特定值,称为阈值。当膜电位达到阈值时,神经元会放电,并产生一个信号,该信号传播到其他神经元,这些神经元又会根据该信号增加或降低它们的电位。在阈值交叉时触发的神经元模型也称为脉冲神经元模型。
SNN 原则上可以应用于与传统 ANN 相同的应用。此外,SNN 可以模拟生物有机体的中枢神经系统,例如在事先不了解环境的情况下寻找食物的昆虫。由于它们的相对真实性,它们可用于研究生物神经回路的运作。从关于生物神经元电路的拓扑结构及其功能的假设开始,可以将该电路的记录与相应 SNN 的输出进行比较,从而评估该假设的合理性。然而,SNN 缺乏有效的训练机制,这可能会抑制某些应用,包括计算机视觉任务。
基于 FTJ 的人工突触
下面介绍几个SNN的开源项目。
关于CNN vs. RNN vs. ANN区别,请看下文:
https://www.analyticsvidhya.com/blog/2020/02/cnn-vs-rnn-vs-mlp-analyzing-3-types-of-neural-networks-in-deep-learning/
https://zhuanlan.zhihu.com/p/107993566
https://github.com/ChFrenkel/ODIN
ODIN 是一种在线学习数字脉冲神经处理器,在 2019 年发表在IEEE Transactions on Biomedical Circuits and Systems期刊上,在鲁汶天主教大学 ( UCLouvain ) 采用 28 纳米 FDSOI CMOS 设计和原型制作。ODIN 基于单个 256 神经元 64k 突触横杆神经突触核心,具有以下关键特性:
因此,ODIN 是一个用于边缘学习的多功能实验平台,同时与所有先前提出的尖峰神经网络 (SNN) 相比,记录神经元和突触密度更高。
使用源代码时,请引用相关论文:
https://arxiv.org/pdf/1804.07858.pdf
同时该项目也有详细的设计文档:
https://github.com/ChFrenkel/ODIN/tree/master/doc
https://github.com/jerry-D/HedgeHog-Fused-Spiking-Neural-Network-Emulator-Compute-Engine
用于 RISC-V 的 HedgeHog 融合脉冲神经网络仿真器/计算引擎(有FPGA验证)
在 Xilinx Kintex Ultra Plus 中运行时钟频率约为 100MHz,它可以执行大约 312qty。每个时钟周期的浮点运算约每秒 310 亿次浮点运算。指令集中的累积和激活位可以连接8个神经元膜。如果你正在探索或试验使用 RISC-V 作为主机 CPU 的 FPGA 嵌入式 AI 应用程序的脉冲神经网络,那么 SYMPL HedgeHog 非常适合你。
这是有关 HedgeHog FSNN 模拟器/计算引擎的 .pdf 信息表:
https://github.com/jerry-D/HedgeHog-Fused-Spiking-Neural-Network-Emulator-Compute-Engine/blob/master/HedgeHog.pdf
Vivado需要的所有 Verilog RTL 源文件都位于此存储库的“RTL”、“ASM”、“test bench”和“sim”文件夹中。顶级模块是“HedgeHog.v”。建议第一次在 Vivado 中创建项目时,选择 Xilinx Kintex Ultra+ xcku5p-ffvd-900-3-e 作为目标器件。在 Vivado 中创建项目后,需要设置“HedgeHog.v”为项目“Top”文件。
下一步是将“SpiNNe_tb.v”测试文件拉入 Vivado 作为激励。然后向下滑动到“Simulation Sources”>“sim_1”,对测试文件“SpiNNe_tb.v”执行与“HedgeHog”相同的操作,在仿真源中将其设置为“top”。
完成后,单击“运行仿真”。之后,会注意到仿真失败。这是因为仿真需要“spikeDemo.HEX”程序来执行 HedgeHog。为了解决这个问题,将“spikeDemo.HEX”文件粘贴到仿真工作目录中:“C:\projectName\projectName.sim\sim_1\behav\xsim\spikeDemo.HEX”,在“ASM”文件夹中可以找到汇编语言源代码和对象列表。
接下来,演示仿真,它只是将一系列脉冲推入 HedgeHog,需要“spike_trains.txt”尖峰输入文件和位于“sim”文件夹中的“weights.txt”文件,因此将这两个文件粘贴到与放置“spikeDemo .HEX”文件的工作目录相同。
完成后,再次单击“运行仿真”按钮以启动仿真即可看到仿真结果。
该项目还有很多详细的设计文档,就不一一说明了。
https://github.com/snagiri/CSE237D-PYNQ-SNN-Accelerator
脉冲神经网络在 PYNQ-Z1 板上的硬件实现
https://github.com/eejlny/S2NN-HLS
该项目提出了一种用于脉冲神经网络的高性能架构,可优化在主存储器中的配置数据的数据精度和流式传输。神经网络基于 Izhikevich 模型,并使用HLS映射到 CPU-FPGA 混合设备。实验表明,将电压和频率缩放应用于 DDR 存储器和可编程逻辑可以分别将其能量需求降低高达 77% 和 76%。
详细设计论文:
http: //dx.doi.org/10.1016 /j.micpro.2017.06.018。
https://github.com/Dengyu-Wu/spkeras
SpKeras 可以通过以下步骤获取和评估基于速率的脉冲神经网络 (SNN):
https://github.com/oshears/SNN-FPGA-Implementation
https://github.com/jasha64/SNN-FPGA
https://github.com/Minz9/SNN-on-FPGA
https://github.com/oshears/fpga_snn_models
今天介绍了主要3个SNN的项目,主要是SNN复杂度较TPU或者CNN或者DNN又高了几个台阶,所以用它来直接对FPGA进行移植难度很大,建议对第一个前三个项目进行研究,其他都不怎么推荐(想研究也没有文档)。
关于DNN或者CNN或者SNN也介绍了几十个项目了,后面可能就不会出神经网络的项目了,感觉大家也看腻了,后续会出一些视频处理或者图像处理的项目。
最后还是强推一波官方神经网络加速的项目:
官方提供的各种案例也是基本覆盖了常规应用。