STDP-driven predictive forward-forward algorithm
STDP-driven predictive forward-forward algorithm
摘要
我们开发了一种新的信用分配算法，用于不需要反馈突触的脉冲神经元的信息处理。具体而言，我们提出了一个事件驱动的前向-前向和预测性前向-前向学习过程的推广，用于在刺激窗口内迭代处理感觉输入的脉冲神经系统。因此，递归电路根据局部自下而上、自上而下和横向信号计算每层中每个神经元的膜电位，从而促进神经计算的动态、逐层并行形式。与依赖反馈突触来调整神经电活动的脉冲神经编码不同，我们的模型纯粹在线操作，并在时间上向前推进，提供了一种有前途的方法来学习具有时间脉冲信号的感觉数据模式的分布式表示。值得注意的是，我们在几个模式数据集上的实验结果表明，偶数驱动的前向-前向(ED-FF)框架对于训练能够分类和重建的动态循环尖峰系统工作良好。
关键词前向学习；脑启发计算；脉冲神经网络
1介绍
“人类计算”的概念[25]挑战了通用计算机的一个基本原则。具体来说，今天进行的计算是由软件与硬件的强烈分离所驱动的，即，这意味着包含在用软件编写的程序中的知识是“不朽的”，允许它被复制到硬件本身的不同物理副本。机器学习模型和算法可以被视为根据数据调整自己的程序，也依赖于这种分离。相比之下，人类计算意味着，一旦硬件介质出现故障或“死亡”，其中编码的知识也将“死亡”或消失，这与生物有机体不再能够维持体内平衡时所获得的知识非常相似。尽管将软件的命运与在其中实现软件的硬件的命运紧密联系在一起会带来表面上的缺点，但放弃计算的不朽本质会带来节省大量能源使用以及降低创建执行所需计算所需的硬件的成本的重要承诺。致力于人类计算解决了人工智能(AI)研究中最近出现的一些关注和问题[1，4，75，69，61]:我们如何才能设计出不增加计算和碳成本的智能系统？本质上，有一种强烈的动机从红色人工智能转向绿色人工智能[69]，红色人工智能是由不朽计算的优势驱动的，而绿色人工智能自然会促进死亡计算。
正如在[54]中进一步论证的那样，走向人类计算也可能需要挑战深度学习中的另一个重要分离——推理和学分分配之间的分离。具体而言，在深度神经网络中，包括驱动大型语言模型(通常在巨大的文本数据库上预先训练)的较新的神经变换器[11，16，5]，适合于以这样的方式训练数据集，即通过误差反向传播(backprop)算法[64]进行的学习被视为与通过网络本身传播信息的机制不同的独立计算。相比之下，可以利用人类计算的自适应系统最有可能需要参与相互交织的推理和学习[60，58，55，53]，即神经生物学学习和大脑中的推理和学习实际上并不完全是不同的、独立的过程，而是相互依赖的互补过程，这些过程的形成受到底层神经回路(以及实例化它的硬件)的性质的激励并与之相结合。在这种情况下，神经系统会根据它们所运行的硬件的属性来适应外部信息，并受到类似稳态的约束。从这个角度来看，着眼于体现交织在一起的推理和学习的计算框架，对大脑启发的学分分配的研究将是有益的；重要的候选框架包括预测处理/编码[62，18，72，53，66]，
对比Hebbian学习[45，48，68]，fowardfoward学习[32，25，54，31]，各有优缺点。这一方向可能对人工智能研究具有不可估量的价值，不仅提供了认知科学、计算神经科学和机器学习之间的另一个重要联系，还提供了运行由数万亿突触组成的神经系统(如大脑)的关键手段，同时只消耗几瓦的能量。
在可以实现凡人计算和交织推理和学习的潜在硬件形式中，例如忆阻器[27，76]、液晶空间光调制器[6，13]、现场可编程门阵列(FPGA)[34，47]、神经形态芯片[19，63]已经成为一个有希望的候选。神经形态平台提供了一种极其高效、低能耗的方法来进行数值计算，促进资源受限的边缘计算[33，9]。脉冲神经网络(SNNs)，有时被称为第三代神经网络[38，40，39，14，15]，是一种特殊类型的大脑启发的自适应系统，自然适合在神经形态学硬件中实现。适当地开发这种芯片的设计和特性，可以实现包含人类计算的工艺模型和算法设计。然而，开发有效、稳定的过程来进行SNNs中的信用分配仍然是一个挑战，特别是如果突触调节过程依赖于组成它们的离散脉冲神经单元的属性。促进复杂snn中的动态学习的最有前途的方向之一是在尖峰训练水平上概括交织的推理和学习信用分配，例如预测编码[50]。应该表征这种系统的计算的重要品质包括:
1)在基于尖峰的通信中不需要可微分性(因为应用于SNNs的通过时间的反向传播需要替代函数的设计[43，79])，
2)在信息传播中不需要前向锁定[29](一层神经元可以计算它们的活动值，而无需等待其他层更新它们自己的活动值)，
3)在突触更新阶段没有反向锁定[29](对一层神经元的突触的调整可以跨时间与其他层并行执行——更新在空间和时间上都是局部的)，以及
4)计算突触变化基本上不需要反馈突触路径。
Important qualities that should characterize the computations of such systems would include: 1) no requirement for differentiability in the spike-based communication (as backprop through time applied to SNNs requires the design of surrogate functions [43, 79]), 2) no forward-locking [29] in the information propagation (a layer of neurons can compute their activity values without waiting on other layers to update their own), 3) no backward-locking[29] in the synaptic update phase (adjustments to synapses for one layer of neurons can be executed in parallel with other layers across time – updates are local in both space and time), and 4) no feedback synaptic pathways are fundamentally required to calculate synaptic change.
在这项工作中，我们通过开发一种新的仅向前学习公式[32]来满足上述标准，特别是针对以基于尖峰信号的通信为中心的系统的前向-前向(FF) [25]和预测性前向-前向(PFF) [54]学习算法。我们在这项研究中的核心贡献包括:
1)循环脉冲神经网络的设计，其基本上表现出逐层并行性，由不需要反馈突触路径的自上而下、自下而上和横向压力组驱动，2)事件驱动的前向-前向(ED-FF)信用分配过程，用于以在线、动态的方式局部适应脉冲神经系统的突触，潜在地充当可以补充脉冲定时依赖性可塑性(STDP)的过程[3]， 3)用于学习基于尖峰的分类器的简单且快速的机制，而不求助于表征FF和基于PFF的系统的昂贵的基于能量的分类方案，以及4)对我们用ED-FF学习的尖峰系统的分类概括能力的定量评估。
2用事件驱动的前向-前向调整学习尖峰网络
2.1循环脉冲神经回路动力学
推荐参考：
AGI结构模块细分：
脑网络 结构 功能 模块 元素 最全面 复杂 清晰 类芯片多图
部分模块的优秀复现：
最新代码：一个epoch打天下：深度Hebbian BP (华为实验室) 生物视觉 +
AGI之 概率溯因推理超越人类水平 VSA符号溯因abductive推理 +
https://github.com/ago109/ngc-learn
https://ngc-learn.readthedocs.io/en/latest/ngclearn_papers.html
自由能AI模型的理论高度和潜力（信息量大）自由能loss +
DeepMind Dreamer 系列为什么效果这么好及自由能理论高度和潜力 世界模型+
世界模型仅用 1 小时训练一个四足机器人从头开始翻滚、站立和行走，无需重置。10 分钟内适应扰动或快速翻身站立 躯体控制 +
代码：Learning to Learn and Forget （华为）长短期记忆网络 +
用预测编码实现因果推断
工程：
框架及硬件
系统观：
BRAIN-INSPIRED COMPUTATIONAL INTELLIGENCE VIA PREDICTIVE CODING