DhPC 一个脉冲脑皮质计算理论

paper: Dendritic predictive coding: A theory of cortical computation with spiking neurons

树突预测编码:具有尖峰神经元的皮层计算理论

（搜狗翻译）

皮层中自上而下的反馈对于指导感觉处理是至关重要的，这在分层预测编码(hPC)理论中得到了突出的形式化。然而，对该理论至关重要的误差单位的实验证据是不确定的，并且仍然不清楚如何用尖峰神经元实现hPC。为了解决这个问题，我们将hPC与平衡网络中具有侧抑制的有效编码和顶端树突的预测计算的现有工作联系起来。总之，这项工作指出了具有尖峰神经元的hPC的有效实现，其中预测误差不是在单独的单元中计算的，而是在树突隔间中局部计算的。该隐含模型显示了与实验观察到的皮质连接模式、可塑性和动力学的显著对应，同时可以解释皮质中预测性处理的特征，如错配反应。因此，我们建议将树突预测编码作为大脑皮层的主要组织原则之一。

1介绍

感知的一个核心特征是我们的内在期望在很大程度上塑造了我们对世界的感知。一长串的研究旨在通过贝叶斯推理来描述我们大脑中这些预期引导的计算，即统计上的最佳感知[2]，并随后表明贝叶斯推理可以非常好地捕捉感知[1]。鉴于这一成功，有人提出，由皮层执行的主要计算是一个分层组织的推理过程，其中皮层区域结合自下而上的感觉信息和自上而下的期望，以找到对感觉数据的一致解释[3，4，5]。

虽然在皮层中的分级推理的一般想法找到了相当多的实验支持[1，5]，但尚不清楚这种推理如何被皮层神经元实现。一个被提出来描述大脑皮层中推理的神经基础的流行理论是经典的分级预测编码(hPC) [4，6]。该理论的一个中心命题是错误单元的存在，错误单元被认为是将自上而下的预测与自下而上的输入进行比较，并指导神经计算和可塑性。然而，经典hPC在很大程度上仍然停留在神经群体的放电率动力学水平上，并且已经证明很难将该理论与具有尖峰动力学的单个神经元的属性联系起来[7，8]。

从这个角度出发，我们指出了一个不同的、新兴的生物学上合理的层次推理理论，它依赖于神经树突中的局部膜动力学。这个理论的核心思想，我们将称之为树突hPC，是将错误计算从独立的神经群体转移到锥体细胞的树突隔间。正如我们将要讨论的，这种转变首次实现了具有尖峰神经元的hPC的生物学上看似合理的实现，并有可能解释从个体树突的微观尺度到皮质区域的宏观尺度，皮质计算是如何组织的。

在前景的第一部分，我们将概述树突hPC的理论，并解释它如何允许用生物学上似是而非的尖峰动力学和突触可塑性进行推理。在这个过程中，我们的目标是将过去几年中获得的一些理论见解结合成一幅皮层计算的连贯画面。因此，本节的主要贡献是指出理论神经科学研究的三个以前主要独立的分支之间存在的密切关系:分级预测编码[6]，平衡脉冲网络中的有效编码[9]和概率模型中的神经采样理论[10]。在较大的第二部分，我们将讨论该理论的生物学合理性，并解释分层皮层计算的几个实验观察如何符合该图。最后，我们将讨论这一新的视角所开启的理论和实证研究的开放性挑战和最有趣的途径。

2平衡脉冲神经网络中的树突预测编码

2.1预测编码的经典模型

分层预测编码(hPC)将感觉信息的处理描述为感觉数据的分层模型中的推理(关于生成模型中推理的基本概念，参见信息框4.1；数学细节见Infobox 2.1，理解正文不需要)。

hPC中心思想是预测单元在一个层级中的活动

i)应准确预测感官数据，或预测单位活动处于较低水平，并且

ii)应该与层次结构中较高层生成的自上而下的预测一致。

hPC试图理解神经活动的这些特性是如何通过短时间尺度的神经动力学和长时间尺度的神经学习和可塑性来确保的。该理论预测，为此，分级结构中每一级的预测单元需要访问两种类型的错误:

i)自下而上的错误，即在该级别内生成的预测与较低级别的活动之间的不匹配。

ii)自上而下的错误，即自上而下的预测与该级别内的活动之间的不匹配。

因此，神经实现也需要针对这些误差的神经基底。在经典hPC [6]中，关键的创新是在不同的误差单位群体中表示这些误差，这些误差单位将自上而下的预测与某一水平内的活动进行比较(图1A)。这种方法的优点在于，相同的误差单元可以调解两种误差，即更新下一级预测单元的自下而上的误差，以及同一级神经元的自上而下的误差。经典hPC的另一个中心结果是，改进分层模型的学习规则采取[误差×预测]的形式，在所提出的架构中，这被证明是经典的Hebbian可塑性，即突触前和突触后活动的倍增。

图一。用树突误差计算和尖峰神经元实现预测编码。分层预测编码(hPC)经典模型的图示。在层级的一个级别内，在不同的神经群体中计算误差和预测。误差向上传递，而预测向下传递。b在树突状hPC中，预测神经元

实现相同的功能，但是错误是在神经树突中计算的。预测沿着层次结构向上发送到基底树突，在那里它们通过横向连接进行平衡，以计算自下而上的预测误差(左)。与此同时，预测沿着层级向下发送到顶端树突，在那里它们试图预测躯体尖峰并指导推理过程(右)。为了更好地显示，路径被分开显示。树突hPC可以用尖峰神经元来实现。在树突膜电位中计算的误差在体细胞处被积分，以形成神经元编码的总误差信号。当躯体误差电位变得太大时，会发出一个尖峰信号，该尖峰信号会导致整体误差的减小。

2.2具有局部树状错误计算的预测编码的功能等效公式

尽管误差单位的概念无可否认是优雅的，但它不是计算神经电路中预测误差的唯一方法。从数学上等效，我们可以将误差计算理解为在单个树状隔间的电压动态中执行的操作(数学细节见信息框2.1)，因此没有专门的误差单元。在hPC的重新解释中，每个神经元将代表我们之前在其树状结构的不同部分讨论过的两种类型的错误(图1B):

i)基底树突室中自下而上的错误，来自较低水平皮质区的输入被整合[17]。

ii)顶室中自上而下的预测误差(针对神经元自身的活动)，较高水平的皮质反馈到达顶室[17]。

除了没有错误神经元之外，在经典hPC和这种树枝状hPC的体系结构之间还出现了两个额外的中心差异。首先，在树枝状hPC中，自下而上和自上而下的信号都是预测。Spratling [18]之前已经讨论过以这种方式(通过重新划分层级边界)实现hPC的可能性。第二，更重要的是，经典hPC中的预测单元通过错误单元相互抑制，而树突hPC中的预测神经元通过对基底树突的侧向抑制直接竞争。这种具有强烈横向抑制的网络(或者类似的，赢者通吃的动力学)在理论上有着悠久的传统，作为对感觉数据进行稀疏和有效编码的模型[13，19，20，21]以及作为皮层计算的分裂标准化模型[22，23](另见[24])。

树突hPC与这些具有侧抑制的模型密切相关，只是这些模型迄今为止没有考虑自上而下的连接如何准确地指导具有预测的神经计算。在更一般的情况下，有人提出自上而下的连接可以通过靶向顶端树突来提供这些预测[14，25，26](类似的架构也已用于在皮质微电路中实现背插[27]，参见信息框2.2进行比较)。在树状高性能计算中，我们建议将这些分级预测编码和横向竞争的思想结合起来，形成一致的皮层计算理论。

由于树突hPC中的错误计算发生在基底和顶端树突室的电压动力学中，在该模型中，这些局部电位对突触可塑性起重要作用。对于基底树突，树突hPC预测神经元之间的横向连接应该在局部建立紧密的平衡，从而计算自下而上输入的误差[13]。对这种计算的直观解释是，在紧密平衡的状态下，可以从其他神经元预测的每个输入都被有效地抵消了，剩下的不可预测的输入构成了预测误差[9]。然后，这些误差可以被另一个自下而上连接的电压相关规则利用，以找到输入的最佳编码[13]。这第二个规则通常是Hebbian的，但是在突触后尖峰期间强烈的局部抑制将发出对特定输入的过度预测的信号，这因此将导致自下而上突触的局部抑制。对于顶端树突，有人提出误差计算依赖于反向传播的动作电位[14]。在这种顶端学习的理论中，自上而下连接的可塑性也是Hebbian的，但在缺乏突触后活动的情况下，顶端树突电位的去极化应该受到抑制。通过采用这些电压依赖的可塑性规则，树突hPC实现了与经典hPC相同的学习算法，但在预测神经元时使用了树突误差计算(信息框2.1)。

2.3树突错误能够有效地实现具有尖峰神经元的分级预测编码

树突错误不仅会产生层级预测编码的等效公式，也会导致尖峰神经元的推论。这里，推断的变量必须有效地用尖峰来表示，如果尖峰只有在降低整体预测误差的情况下才触发，这是可能的[9，12，31，32](关于具有尖峰神经元的树枝状hPC的数学细节，请参见信息框2.3)。如上所述，如果横向(抑制性)连接在兴奋性和抑制性电流之间实现紧密平衡[9]，这种预测误差可以通过树突和躯体电压动力学来计算，其中预测在快速时间尺度上跟踪自下而上的输入。在这种情况下，可以用膜电位上的简单阈值机制找到有效的棘波编码，当误差电位变得太大时产生棘波[12]，类似于生物神经元中动作电位的产生(图1C)。因此，预测编码在这里有双重目的，既能在分层模型中进行推理，又能对动态变量进行有效的尖峰编码。

由于两个原因，神经动力学中的噪声在这种具有尖峰信号的推断方案中扮演了中心角色。首先，面对传输延迟，噪声能够实现有效的尖峰码。对于确定性神经元，即使很小的抑制延迟也会导致不稳定的网络行为，因为抑制通常会来得太晚，无法阻止大部分群体的同步尖峰[33]。噪声放松了对反馈速度的限制，因为它有效地去耦合和去同步神经尖峰[31，33，34]。第二，脉冲神经网络中的噪声使神经采样成为可能[10，35，36]。这里的想法是，神经活动根据可能性对可能的预测进行采样，而不是像经典hPC那样计算单个最佳估计(信息框2.3)。因此，神经采样是一种通过神经活动表示推理中不确定性的原则性方法，例如，已用于解释神经反应的可变性[37]，以及感知中多稳定性的起源[38]。最近的模型表明，神经采样和有效的尖峰编码具有紧密的兴奋抑制 可以将平衡与树枝状误差计算[13，35，36]结合在一个模型中，将这些概念与提议的树枝状hPC模型相关联(信息框2.3)。

除了神经推理，树突错误也能让尖峰神经元族群学习。这并不简单，因为从基于速率的模型转换到基于尖峰的模型通常需要修改学习算法。例如，当在经典hPC中使用尖峰误差单位的总体时，预测误差将不得不由尖峰的离散事件来近似，并且进一步的近似是必要的，以用尖峰或非负触发率来表示正值和负值[16]。为了解决这一问题，有人提出误差由相对于基线发放率的偏差来表示[16]，但这需要高发放率，因此考虑到新皮层的低发放率，这似乎是不可信的[39]。一种替代方法是在单独的群体中表示正负错误[6，39]，但在这种情况下，生物可塑性如何重组正负部分尚不清楚，这两个部分都是学习单个突触所需要的。由于这些困难，据我们所知，迄今为止还没有提出使用尖峰误差单元的完整hPC实现(另请参见[8]中最近的广泛综述)。相比之下，在树突hPC中，与基于速率的单元相同的学习算法可以直接应用于尖峰神经元。原因是尽管神经反应具有尖峰性质，但树突膜电位仍保持连续量，可获得相对于某些参考值的正值和负值。因此，这些树枝状电位可以很容易地表示自下而上和自上而下连接学习所需的预测误差(Infobox 2.1)，在[13，14]中已经得到成功应用。

3树突预测编码在生物学上可行吗？

在上一节中，我们介绍了树突hPC的两个主要假设，即I)皮层在分层概率模型中实现推理，以及ii)在基底和顶端树突的局部电压动态中计算所得预测的误差。第一个假设的含义已经在经典hPC的上下文中详细讨论过，并且发现与实验观察结果非常一致[5，42，43]。从第二个假设，以及这两个假设的结合，对神经横向连接和可塑性产生了额外的要求，我们将在下面讨论。正如我们将看到的，这些要求与皮质锥体神经元的特性和皮质中的抑制连接性显著一致，这使得树突hPC成为解释它们在皮质计算中的功能的有前途的理论。

3.1锥体神经元的树突误差计算和突触可塑性

为了计算基底树突的误差，需要紧密的局部兴奋-抑制(E-I)平衡。兴奋性和抑制性电流在皮质神经元中是平衡的，这是一个公认的结果[9]，并且在几个实例中发现抑制和兴奋密切相关，抑制落后于兴奋几毫秒[9，44，45]。这种紧密的平衡只给神经元留下了短暂的尖峰机会，这有效地消除了神经响应与输入的相关性，从而确保了有效的神经代码[46]。因此，紧密的E-I平衡可以解释在整个皮层观察到的神经元不规则尖峰模式的起源[9]。虽然具有紧密平衡的模型可以在单个神经元水平上再现不规则放电，但在这些模型中引入现实的突触传递延迟会导致群体水平上的振荡[31]。因此，皮质活动的振荡(尤其是在第2/3层占主导地位的伽马频带[4])被视为平衡网络中有效编码的特征[34](另见[36])。因此，树突状hPC所假设的紧密的E-I平衡不仅在神经元水平上被实验观察到，而且还再现了皮质活动的更全面的放电统计。

与树突状hPC一致，后来发现这种平衡也延伸到单个神经树突[47，48，49]。至关重要的是，这种局部平衡可以观察到(至少)单个树突分支的规模[47]，因为树突电流的衰减防止抑制性突触后电位扩散到其他树突隔室并影响那里的E/I平衡[50，51]。实验还表明，这种局部平衡是通过局部突触可塑性来维持的，局部突触可塑性在扰动后重建平衡，并局部协调兴奋性和抑制性可塑性[30，47，52，53，54，55]。总的来说，这些发现与局部平衡计算基底树突特定突触接触的预测误差的想法是一致的。

假设局部膜电位确实反映了错误信号，树突hPC预测这些电位应该局部影响突触可塑性[13，14]。这种电压依赖性可塑性(VDP)已在一系列实验中观察到[56，57，58]，并被认为主要由局部钙浓度介导，其遵循局部膜电位并调节突触可塑性[51，59，60]。基于这些观察，VDP规则已被提出，它可以在一个统一的图像中再现尖峰时间依赖性可塑性的几个实验[61，62]。局部组织VDP的结果是抑制以非常局部化的方式强烈调节突触可塑性[49，63，64，65，66]；例如，Hayama等人[64]发现，这种调节在枝晶上的扩散小于15微米。因此，局部E/I平衡是突触可塑性的核心决定因素，这与树突hPC一致，表明神经元有目的地将其纳入神经学习。

从树枝状高性能计算得到的VDP规则与这些实验观察到的VDP规则一致吗？这里必须区分基枝晶中的VDP规则，

图二。局部抑制对实验中突触可塑性和树突状hPC的影响。在实验中，在有或没有GABA脱盖的情况下，通过长期电位(LTP)方案或长期抑制(LTD)方案在近端树突中诱导可塑性

(即抑制作用)[64]。b . GABA脱囊时，观察到附近(< 15米距离)兴奋性突触的树突棘体积收缩，而GABA脱囊时，不存在棘体积收缩(数值如图[64]所示)。脊柱体积的相对变化作为突触重量变化的代表。c观察到的局部抑制对突触可塑性的影响与自下而上连接的电压依赖性可塑性规则一致(信息框2.1中的等式(12))。这里的主要目的是证明实验和树枝状hPC之间的定性一致。然而，如果将模型中诱发的突触后电位设置为分别由谷氨酸盐和GABA释放诱发的典型epsp(≈70 pA)和IPSPs(≈45 pA )(见[64]中的补充图1 ),并且假设反向传播动作电位与诱发的epsp(LTP方案)和IPSPs (LTD+GABA方案)之间的时间重叠是相同的，则也存在定量的一致性。学习速率和初始突触权重被调整以匹配LTP和LTD的实验结果，更多细节和模拟代码见[70]。

这将使得能够学习神经表达[13]，以及顶端树突中的VDP，这将使得能够预测体细胞尖峰[14]。对于基底树突中的表征学习，我们认为先前提出的VPD规则[61，62]可以与源自树突hPC的VDP规则[13]相协调。这些衍生的VDP规则的一个预测是，强局部抑制应促进兴奋性突触的抑制，这种效应已在海马锥体神经元的近端树突中观察到[64](图2；另见[67])。这是有趣的，因为面对抑制时兴奋性突触的选择性抑制导致了较低的E/I平衡，与上面讨论的局部平衡可塑性相反。然而，这种不平衡(对于自下而上的连接)和平衡(对于侧向抑制)VDP规则的相互作用与树枝状hPC完全一致，并实现了最佳表征学习[13]。对于顶端连接的学习，一个明确的对应实验VDP仍然必须提出。实验表明，靠近和远离胞体的突触可塑性表现出巨大差异[26，68，69]，这可能支持树突hPC中基底和顶端突触可塑性的不同要求。虽然需要更多的实验和理论工作来阐明树突hPC和实验VDP之间的联系，但这些结果表明，皮质锥体神经元原则上适合实现树突hPC提出的学习算法。

3.2树突预测编码需要多种抑制性中间神经元

由于锥体神经元通常只刺激其他细胞，因此需要不同的抑制性中间神经元来实现树突hPC模型。多样性，因为抑制作用必须以不同的目的作用于锥体神经元树突树的不同部分:首先，需要抑制性中间神经元通过横向连接平衡自下而上对基底树突的输入，计算自下而上的错误并协调神经反应[46]。其次，基底树突的自下而上抑制也需要抑制性中间神经元，这可能需要另一种类型的中间神经元，因为自下而上抑制依赖于不同于侧向抑制的可塑性规则[13]。最后，甚至需要更多类型的抑制性中间神经元来介导自上而下的抑制，因为仅在顶端树突的抑制对体细胞的影响非常弱，这意味着顶端反馈在抑制体细胞峰电位方面无效[50]。因此，为了正确地学习自上而下的抑制性连接，可能有必要采用更复杂的具有去抑制机制的中间神经元回路，例如预测错配反应学习模型所建议的那样[71]。

这些都是很强的要求，但事实上，皮层表现出一系列广泛的抑制性中间神经元，其中一些类似于建议的连接模式[72，73]。例如，皮质的一个定义性网络基序是由表达小清蛋白(PV)的中间神经元实现的，其主要在锥体神经元群体中提供广泛的反馈抑制[24，73，74，75]。仅PV阳性、快速尖峰的篮状细胞就占所有中间神经元的约40-50%[72]，并且特别适合于通过对体细胞和基底树突的非常快速的抑制来紧密控制锥体神经元尖峰和皮质E-I平衡[73，76]。在这里，抑制性中间神经元可以非常具体地取消丘脑-皮质(自下而上)兴奋性突触[77]。该基序直接对应于对基底树突的平衡侧抑制，这是树突hPC的中心。PV中间神经元似乎也对树枝状hPC中出现的伽马振荡负责[76]，进一步加强了这种联系。相反，生长抑素表达(SST)中间神经元主要抑制顶端树突，通常通过促进兴奋性突触[73]进行神经支配，这使它们能够更缓慢地控制自上而下输入的影响。最近的大量研究表明，这些不同的抑制性中间神经元对于皮质网络以极大的稳定性对感觉输入做出反应，并将来自其他皮质区域的反馈纳入其计算至关重要[66]。因此，虽然树突hPC到皮质中间神经元连接的映射必须更加明确，但丰富的皮质中间神经元池肯定可以支持树突hPC提出的计算。

4预测神经元如何产生错误反应？

经典hPC的一个主要特征是它能够通过错误神经元的概念来解释各种实验观察。非常直接地，错误神经元可以对皮层中的不匹配反应给出统一的解释，这是发出(或似乎发出)内部模型和感觉数据之间不匹配的信号的神经反应，在感觉处理的天真前馈解释中是不期望的[43]。错误神经元也被认为可以解释似乎与错误计算无关的其他观察结果[43]，例如视觉皮层中的超经典感受野效应[6]。因此，树突hPC的一个重要问题是，这些实验观察是否也可以在没有错误神经元的模型中得到解释。在没有错误单元的模型中，这些影响是如何发生的，例如遗漏反应或期望抑制，已经在前面讨论过[5，43]。在下文中，我们将关注较少讨论的视觉皮层[78]中的不匹配反应和自上而下调制的超经典感受野效应[6]，并概述这些类型的反应如何出现在树突hPC的预测神经元中。

最近在神经元反应的视觉皮层中观察到了失配反应的主要例子

转向光流[78，79]。在这个特定的实验装置中，老鼠在虚拟环境中移动(图3E，F)。当从自我运动预测的光流和呈现的光流之间的不匹配被诱导时，这种不匹配由V1层2/3神经元发出信号[79]。根据错误神经元对这些信号的解释是直接的:从编码所有光流的V1预测神经元活动中减去来自运动相关区域(M2)的光流预测，相减的结果表示在第2/3层错误神经元中(图3B)。在树突状hPC中，对这种错配反应的解释略有不同:在这里，运动区和视觉区可以被认为共同编码光流。因此，当自生光流通过传出拷贝被消除时，V1层2/3预测神经元应该编码剩余光流(图3C，D，G) [5，80]。这种表示是有效的，因为这里减少了V1和M2的响应之间的冗余。它也非常有用，例如，使移动的观察者能够快速识别独立于静态环境移动的物体[81，82，83](通常认为，在经典hPC中，专用错误神经元的失配响应也可以服务于这两个目的，但我们认为事实并非如此；详见[80])。这种对不匹配反应的解释可以解释为什么V1的不匹配反应似乎与预测反应混合在一起[78，84]。类似的解释也可以适用于其他这样的观察，例如V1的视听抑制[85]。如果是正确的，这可能意味着皮层已经处于最早的处理水平，将感官刺激作为一个整体进行编码，以提高效率并整合多种感官信息。

已经用hPC中的错误神经元解释的另一个中心实验观察是终止的超经典感受野效应[6]。为了引起这种效应，向受试者呈现具有固定方向但不同长度的条，并测量视觉皮层(第2/3层或第4层)中的活动。可以进行两个令人惊讶的观察:首先，当杆短时，具有匹配方向调谐的神经元的响应随着长度的增加而增加，但是当杆延伸超过经典感受野时，响应随着长度的增加而强烈减少[87]。第二，当来自更高水平区域的反馈被禁用时，这种超经典感受野效应被降低[87]。在经典的hPC中，这些效应被解释为对更高水平区域的强烈先验期望，以观察长条，长条在自然图像中比短条出现得更频繁。因此，低水平区域的错误神经元对短条的反应会更强，因为它们不太容易从高水平反馈中预测出来[6]。在树突hPC中，只有预测神经元存在，终止不能用这种机制来解释。然而，最近的理论工作表明，终止行为(和其他超经典感受野效应)也发生在预测神经元中，其中自上而下的连接加强了这种效应[88，89]。这里，终止主要是由具有重叠感受野的神经元之间的横向抑制介导的[89]。来自更高级别区域的自上而下的联系预测了从这些横向相互作用中产生的活动模式，并增强了它们，这加强了终止行为[88]。这种横向和自上而下的相互作用的合作对于帮助网络处理输入中的噪声和改善视觉处理很重要[88]，并且已经在视觉皮层中广泛观察到[90，91，92，93，94]。

5树突预测编码面临的挑战

阅读原文参考完整原论文。