皮层回路实时学习的神经元最小作用原理 2023
皮层回路实时学习的神经元最小作用原理 2023
摘要：
最基本的物理定律之一是最小作用原理。受其预测能力的启发, 我们引 入了一种应用于电机控制的神经最小作用原理。中心概念是单个神经元内的体树突失配错误。该原理假设皮层网络中所有神经元的体树突失配误差通过电压动力学最小化。持续的突触可塑性减少了每个神经元内的体树突失配误差, 并对输出成本实时执行梯度下降。神经元活动是前瞻性的, 确保网络深处的树突错误得到前瞻性纠正, 最终减少运动错误。神经元特异性错误在锥体神经元的顶端树突中表现出来, 并由皮质微电路提取, 该微电路“解释掉” 来自 外围的反馈。该原理提供了一个通用的理论框架来功能性地描述实时神经元和突触处理。
Keywords：Least action · neuronal dynamics · synaptic plasticity · error backpropagation · real-time learning
介绍：
在物理学中，“努力”的基本衡量标准是系统的作用，大自然力求“最小化”。给定系统成分之间相互作用的适当描述，最小作用原理可用于推导任何物理系统的运动方程（Feynman 等人，2011 年；Coopersmith，2017 年）。在这里，我们建议在生物信息处理中，类似的原则适用于预测误差，这与认知和行为具有明显的相关性。基于此类错误，我们制定了神经元最小作用 (NLA) 原理，可用于推导神经元动力学并将它们映射到观察到的树突形态和皮质微电路。在这个框架内，基底和顶端树突的局部突触可塑性可以通过误差的随机梯度下降推导出来。最小化的错误指的是输出神经元中的错误，这些神经元通常被认为代表在皮层运动区域并最终在脊髓和肌肉中规划和编码的运动轨迹。
该理论考虑最小化有效输出轨迹与内部或外部施加的目标轨迹之间的不匹配。将输出轨迹推向目标轨迹的强度称为 “微移强度”。对于微弱的微 动，反馈会稍微调整内部网络状态，以便输出活动更接近其目标。对于及时固定的目标，动力学会简化为平衡传播 (Scellier & Bengio，2017)。对 于强力微移，输出神经元被钳位以紧紧跟随目标轨迹 (Song 等人，2022 年；Meulemans、Zucchet 等人，2022 年)。每个网络神经元对其自身 的树突预测误差执行梯度下降(Urbanczik & Senn, 2014)，最终也有助于减少输出误差。对于这两个版本，神经元间反馈电路中的弱推和强推、突 触可塑性支持神经元特异性树突错误的提取 (Sacramento 等人，2018)，提供了建议的 “实时树突错误传播”(rt ‑深的)。
NLA 原理可以纳入用于理解循环神经网络 (Hopfield，1982 年)、人工智能 (LeCun 等人，2006 年)和深度学习的生物版本 (Scellier)中的神 经元处理和学习的基于能量的模型的历史中& Bengio，2017 年；Richards 等人，2019 年；Song 等人，2022 年)。作为皮层处理的连续时间理 论，可即时纠正整个网络中的神经元活动，它与最佳反馈控制 (Todorov & Jordan, 2002) 建立了联系，最近在基于能量的平衡模型方面考虑了 这一点(Meulemans, Zucchet 等人，2022 年)。在预测编码的传统中可以进一步看到这一点 (Rao & Ballard, 1999; Bastos et al., 2012)，其 中皮层反馈连接试图解释低级活动。然而，我们的前瞻性编码是从当前数量推断来预测未来的活动，而不是像经典预测编码那样预测当前时间点 的活动。NLA 原理将基于能量的模型与前瞻性编码相结合，其中神经元整合延迟在运行中得到补偿 (正如 Haider 等人在 2021 年所做的那 样)。每个神经元内的前瞻性编码可以克服延伸到整个皮层的假定延迟，并允许实时处理刺激，同时即时纠正正在进行的错误。从这个意义上说， NLA代表了最近提出的前向‑前向算法的替代方案，该算法通过完全避免错误传播来规避延迟问题 (Hinton，2022)。
Results
Somato-dendritic mismatch errors and the Lagrangian of cortical circuits
The least-action principle expressed for prospective voltages
Prospective coding in neurons and instantaneous propagation
Prospective control and the moving equilibrium hypothesis
Local plasticity at basal synapses minimizes the global cost in real time
Reproducing intracortical EEG recordings and recognizing handwritten digits.
Implementation in cortical microcircuits
Simultaneously learning apical errors and basal signals.
Methods
Euler-Lagrange equations as inverse low-pass filters
Deriving the network dynamics from the Euler-Lagrange equations
Deriving the error backpropagation formula
Supplementary information
A Extracting the presynaptic voltage error
B Looking back and forward in time with derivatives
C From implicit to explicit differential equations
D Contraction analysis and delta-function inputs
E Example of a single recurrently connected neuron
F Generalizations: NLA for conductance-based neurons and more dynamic variables
G A tutorial on total and partial derivatives as used in the paper
H Proof of Theorem 1, part (ii), using only partial derivatives
阅读原文参考完整原论文。
相关推荐：
AI分析框架
Self-building Neural Networks 代码
一个epoch打天下：深度Hebbian BP (华为实验室)
代码Unsup Visual Dynamics Simulation with Object-Centric Models
腾讯云开发者
