【学术观点】神经动态编码

本文来自公众号 吴思Lab计算神经科学及类脑计算，AI科技评论 获授权转载，如需转载请联系原公众号。

编者按：神经编码，即神经系统编码信息的方式，是脑科学的核心科学问题之一。对此，领域内多年来一直存在争论，比如，有观点认为神经系统是用神经元的活动强度（发放频率）来编码信息，有观点认为神经系统是用神经元之间的关联活动（同步化）来编码信息，也有观点认为两种成分皆有。我们课题组和上海交大的梁培基教授和肖雷博士（现复旦大学研究员）合作，基于牛蛙视网膜上神经节细胞的适应性反应，发现神经系统具有动态编码的特点，即在适应早期神经系统采用耗能的高频放电来编码信息，而在适应后期则采用低频但更同步化的方式来编码信息；由此大脑既实现了对新刺激的快速反应，又用经济节能的方式维持了适应后的刺激信息。这种动态编码策略很好地平衡了计算的速度和能耗，对类脑计算有启示作用。李罗政同学在博士期间的研究工作主要围绕神经动态编码在大脑皮层的实现进行计算建模工作。在此文中，李罗政博士介绍神经动态编码的观点及相关学术背景。

吴思 2019/09/01

0. 目录

1. 神经信号编码2. 发放率编码 vs 相关性编码3. 动态编码：从实验到模型4. 结语5. 参考文献

1. 神经信号编码

按照佛教《心经》中的说法，我们在生活里几乎每时每刻都在用“眼、耳、鼻、舌、身、意”去感知着周围的“色、声、香、味、触、法”。然而就是这样一个纷繁复杂的大千世界，在我们的大脑中其实只是一堆看似杂乱无章的神经元放电而已。那么这些来自外部世界的刺激和神经系统电信号之间究竟有怎样的关系呢？这正是神经信号编码所要研究的问题。

神经元电活动的基本形式由动作电位(action potential)构成。在生物学上，动作电位的形成包括钠离子内流、钾离子外流等一系列过程，其动力学过程可以用Hodgkin-Huxley方程描述。但这样的形式用来进行信息编码时还是太复杂了。进一步简化后，我们可以近似地认为动作电位是很短时间内的一个事件，事件的发生与否分别用“1”和“0”去代表。这样一来，累积一段时间后，我们就可以得到一串神经元的发放序列。如果去统计一个或一群神经元在单位时间内的(平均)放电个数，就可以得到发放率。

2. 发放率编码 vs 相关性编码

有了发放率的概念，人们很自然的想法就是去观测神经元的发放率和外界刺激的关系。其实早在1926年，彼时人类对大脑的认知还几乎处于一片混沌的状态，就已经有人提出了发放率编码[1]。ED Adrian 和Y Zotterman在他们的实验中，给青蛙的肌肉施加不同重量的拉力，然后测量感觉神经纤维的放电情况。他们发现，当外界刺激的重量不断增加的时候，支配肌肉的感觉神经的放电数目也在增加。于是他们提出，是动作电位的频率而非强度（幅度）编码了外界信息。

发放率编码(frequency coding)的概念被提出后的数十年，因其测量方法简单，这种编码理论很快得到了推广。然而，如果我们仔细思考不难发现，发放率编码有其自身不足，因为计算发放率时我们会对特定时间窗口内的发放率计算平均，这就导致包含在时间里的信息会被很大程度地忽略。

20世纪六十年，时间编码(temporal coding)的概念被相应提出。按照时间编码的观点，神经元放电的时刻或者高频放电的统计涨落中也包含有信息。时间编码理论包括有不同的形式，相关性编码(correlation coding)就是其中的一种。

有的情况下信息可以独立地被每个神经元的发放所表征，而有的情况下信息却是被两个或多个邻近神经元共同发放所表征的。这种神经元共同发放编码信息的方式，就是相关性编码(correlation coding)[2]。在相关性编码理论下，神经元之间的同步性(synchrony)是一个很重要的概念。通常在一个仅可容纳单个一个动作电位的时间窗口内(比如5ms)，网络所产生的共同发放的数目越多，同步性就越强。

相关性编码的提出，对发放率编码造成了一定程度的冲击。因为在发放率编码的框架下，相关性通常被认为是不利因素，邻近神经元的放电活动越独立，编码的效率越高。相关性会造成信息的冗余，而这种冗余通常会减少信息的容量[3]。

图 1 发放率编码和相关性编码的示意图。左侧：发放率编码，单个神经元强烈并且独立地放电，激活了下游的读出神经元(read-out neuron)；右侧：相关性编码，较弱但同步性的发放同样可以激活下游的读出神经元(read-out neuron)，图片选自[4]。

图1所示直观地体现了两种编码方式的差异。假设有2个突触前神经元，分别为Neuron 1和Neuron 2，他们不同的发放方式均可以引起读出神经元的反应进而传递信息。左边展示的发放率编码，上游两个神经元独立地发放，引起读出神经元产生了4个动作电位；右边则展示的相关性编码，上游两个神经元的动作电位不多，但时间上非常“一致”，这种方式同样可以使下游神经元产生4个动作电位。即这两种策略都可以实现神经系统对刺激信息的编码。然而，从功能特点上来说却是各有千秋：相关性编码可以利用更少的动作电位来传递信息，从能量节约的角度来看似乎更胜一筹;而发放率编码则更具有时效性，可以完成快速的信息编码，更具时效性。

3. 动态编码：从实验到模型

发放率编码被提出以来，一直被许多学者先入为主地认为是大脑编码信息的主要方式。而相关性编码则饱受争议，研究者们曾一度认为这种编码方式只存在于特定的脑区。因此在学界，两种观点始终争论不休：一种观点几乎完全否定了相关性的编码作用[5-7]，另一种则认为相关性编码在神经系统中发挥着重要的角色[8,9]。

但随着近年来的神经生物实验中不断发现新的证据，我们认为神经系统中的发放率编码与相关性编码可能并不像传统观点中的那样非此即彼。我们发现在某些条件下，神经系统可以在两种编码策略间进行动态地“切换”，以达到更好的信息编码效果，这就是我们所说的“动态编码”。

一个特殊的例子就是适应性(adaptation)期间，神经系统在接受到恒定不变的刺激时，其反应强度会随着时间逐渐衰减。这也就是古人所说的“久居兰室，不闻其香”。而如果仅用发放率编码的观点来观察适应性，就会产生令人困惑的问题：神经元产生适应后，发放率已经衰减到了背景水平，此时发放率几乎为零，神经系统是如何编码？

图 2 牛蛙视网膜中的暗检测神经元对黑暗刺激的适应性过程。A, 刺激的形式，CB代表随机呈现的黑白棋盘样的刺激。B1, 神经元放电的光栅图，图中为单个神经元适应性现象大约持续 5s。B2, B1中的放电率统计图，下方呈现了刺激的形式。C，作为对比，展示的是一个其它类型视网膜神经节细胞(ganglion cells)在接受刺激时的情况，并没有出现适应性现象。图片来自文献[10]。

研究者通过牛蛙的视网膜细胞上的实验试图给出解答[10,11]。牛蛙视网膜上有一种只对黑暗刺激反应的暗检测细胞(dim detector cell)，这种细胞就有很强的适应性，如图2所示。牛蛙视网膜中的普通细胞在接受到图2A中形式的刺激时，并没有适应性反应(图2C)；而暗检测细胞接受到黑暗刺激时，体现出了强烈的适应性(图2B1，B2)。

在此研究中，研究者通过对神经元发放率和神经元间相关性(cross-correlation)的所编码刺激信息总量进行量化，他们观测到：在适应性过程中，神经元发放率下降的同时，伴随由电突触连接的神经元之间的同步性活动增强，如图3。于是针对这一现象，他们提出了动态编码的机制：在适应的早期，刺激信息主要由神经元发放率编码，然而在适应的后期，刺激信息主要由神经元相关性编码。他们建立了一个计算模型来阐明这一编码机制[10,11]，并且提出电突触(间隙连接)的短时程易化(Short-Term Facilitation [12])可能是动态编码的基础。

图 3 牛蛙视网膜实验中发放率和同步性活动随时间变化的关系。

但这种动态编码机制在大脑是否普遍存在？上一个实验工作并未给出答案。之前的实验基于牛蛙的视网膜细胞，神经元之间以电突触的形式相互连接。然而，更为高等的哺乳动物的感觉皮层中神经元之间的连接更普遍是以化学突触形式存在[13]。而化学突触具有和电突触截然不同的生理性质和计算性质。因此，为了验证动态编码机制的普适性，我们有必要将之前的工作拓展至由化学突触连接构成的神经网络上。

但接下来问题又来了，只是把牛蛙换成高等动物就可以了么？当然不是这么简单。化学突触产生同步性活动的难度要远高于电突触，所以换到高等动物后，进行编码时每一对突触的相关性增量非常微小，需要同时记录成千上万的突触才有可能观测到相关性的改变。而以当前的实验技术手段，这是不可能实现的。

图 4 不同模型中各个时期神经网络的相关性。“shuffled”的含义为我们将突触电流在时间上进行了重排，在保持均值不变的情况下破坏了其时间结构。图中可以看出，只有在动态突触(具备短时程突触可塑性)的模型中适应性期间的相关性才相对其他两个时段有显著的提升，**表示统计显著性p < 0.05, 图片来自文献[4]。

所以接下来，我们通过数学建模的方式去搭建一个大尺度的神经网络。在网络中，引入化学突触中常见的短时程突触可塑性(Short-term synaptic plasticity[12])。用计算仿真的方法，我们可以复现出几乎和实验上相同的适应性条件，然后观测在神经网络进入适应性的前、中、后期，其神经元相关性的变化情况。通过设定合理的相关性测量方法和对照实验，我们得到了和牛蛙实验一致的结果。在图4所展示的结果中，黄色、红色、蓝色条形分别代表适应性前(没有刺激)、适应性中(刺激存在)、和适应性后(没有刺激)三个阶段神经网络的平均相关性。图4 左一数据是在正常的适应性条件下的相关性对比，可以看出在适应性期间，神经元的相关性具有显著的提升。而当我们打乱神经元电流数据的时间顺序后，相关性急剧下降(图4 左二)。同样，我们改用瞬间刺激使神经网络不产生适应性(图4右二)，或者去除突触连接的短时程可塑性(图4，右一)后，这种相关性的增加都会消失。最后我们得到结论，在化学突触构成的神经网络中，动态编码仍然可以通过短时程易化(Short-Term Facilitation)实现，并且所编码的信息可以通过设计合理的读出机制读出。

4. 结语

以上介绍的两个研究分别从实验和理论上论证了适应性期间动态编码机制在电突触和化学突触所构成网络中的存在。但我们相信，动态编码机制作为中和发放率编码和相关性编码的“双全法”，应该更加普遍地存在于大脑之中。它很可能是大脑已经开发出的一种补偿优化方案：神经系统使用快速的发放率编码来检测新刺激的外观，并使用缓慢但经济节能有效的相关性编码来保留持续的刺激信息。

我们的研究也并非孤例。越来越多的研究者意识到这两种重要的编码方式之间并不是水火不容。我们的研究着重讨论的是两种编码方式在时间维度上的切换。也有研究发现两种编码方式可能在不同脑区间也存在空间上的转换，他们通过对小鼠感觉皮层的实验记录发现，两种编码机制在丘脑-皮层的上下游神经元群之间存在着转换的关系[14]。

当然，我们希望随着神经影像学技术的发展，今后可以实现在大规模在体神经元群上测量活动相关性。这样一来就可以对我们提出的动态神经编码机制的理论假设提供直接、可靠的生物学证据。

5. 参考文献

1. Adrian ED, Zotterman Y. The impulses produced by sensory nerve endings: Part II: The response of a single end organ[J]. J Physiol (Lond.). 1926, 61: 151–171. doi:10.1113/jphysiol.1926.sp002281
2. deCharms R C. Information coding in the cortex by independent or coordinated populations[J]. Proceedings of the National Academy of Sciences, 1998, 95(26): 15166-15168.
3. Averbeck B B, Latham P E, Pouget A. Neural correlations, population coding and computation[J]. Nature reviews neuroscience, 2006, 7(5): 358.
4. Li L, Mi Y, Zhang W, Wang D, Wu S, Dynamic Information Encoding with Dynamical Synapses in Neural Adaptation[J]. Frontiers in computational neuroscience, doi: 10.3389/fncom.2018.00016
5. Oizumi M, Ishii T, Ishibashi K, et al. Mismatched decoding in the brain[J]. Journal of Neuroscience, 2010, 30(13): 4815-4826.
6. Ecker A S. Decorrelated neuronal firing in cortical microcircuits (vol 327, pg 584, 2010)[J]. Science, 2010, 328(5978): 569-569.
7. Meytlis M, Nichols Z, Nirenberg S. Determining the role of correlated firing in large populations of neurons using white noise and natural scene stimuli[J]. Vision research, 2012, 70: 44-53.
8. Ishikane H, Gangi M, Honda S, et al. Synchronized retinal oscillations encode essential information for escape behavior in frogs[J]. Nature neuroscience, 2005, 8(8): 1087.
9. Ince R A A, Senatore R, Arabzadeh E, et al. Information-theoretic methods for studying population codes[J]. Neural Networks, 2010, 23(6): 713-727.
10. Xiao L, Zhang M, Xing D, et al. Shifted encoding strategy in retinal luminance adaptation: from firing rate to neural correlation[J]. Journal of neurophysiology, 2013, 110(8): 1793-1803.
11. Xiao Lei, Zhang Danke, Li Yuanqing, Liang Peiji and Wu Si (2013) Adaptive neural information processing with dynamical electrical synapses. Frontiers in Computational Neuroscience 7(36)
12. Tsodyks M, Wu S. Short-term synaptic plasticity[J]. Scholarpedia, 2013, 8(10): 3153.
13. Connors B W, Long M A. Electrical synapses in the mammalian brain[J]. Annu. Rev. Neurosci., 2004, 27: 393-418.
14. Wang Q, Webber R M, Stanley G B. Thalamic synchrony and the adaptive gating of information flow to cortex[J]. Nature neuroscience, 2010, 13(12): 1534.

点击 阅读原文 查看 图解十大 CNN 架构