浙江大学丁鼐团队Trends in Cognitive Sciences丨基于低频神经振荡的位置编码是大脑加工复杂序列的关键机制

生命科学

Life science

日常生活中，人们经常需要处理由许多基本事件构成的复杂序列，比如由文字组成的文章，由音符构成的乐曲，由一系列动作组合而成的绘画、烹调等复杂行为。为了有效处理这些复杂的序列，大脑往往需要将其拆分为小的片段，这些片段被称为组块(chunk)。大脑如何切分、加工组块依然是一个未解之谜。

近日，浙江大学生仪学院丁鼐研究员在Cell Press细胞出版社旗下期刊Trends in Cognitive Science发表了题为Sequence chunking through neural encoding of ordinal positions的综述文章。该文章在总结人类行为和神经影像研究、动物模型神经记录研究、复杂序列加工的计算模型研究的基础上，阐述了大脑编码序列组块的潜在机制。综述认为人脑加工复杂序列时，可能采用了类似人工智能领域中transformer模型的位置编码策略，依据位置编码整合组块内的信息。

有兴趣在Trends in Cognitive Sciences发表您的综述文章？请扫描提交论文提案 (presubmission inquiry)。

什么是序列中的组块？

大脑往往需要处理很长的复杂序列（比如一个故事有成百上千个词），但是大脑工作记忆容量非常有限（一般认为只能容纳4-7个信息单元）。所以，在处理复杂长序列时，一种重要的策略是将序列切分为只包含几个事件的组块，先整合组块内的信息，再整合组块间的信息。

组块切分是一种通用策略，但是其实现方式多种多样，可以依赖于不同线索，比如刺激的物理特征(图1A中相同的音符被纳入同一个组块)，统计规律(图1C中经常出现的音节片段会逐渐被整合为一个组块)或者被试的任务(图1D中被试被要求把每三个音符纳入一个组块)等等。

图1、多种序列加工任务中的组块切分

什么是组块加工的认知神经机制？

大量研究表明，在众多序列加工任务中，大脑中均出现了跟踪组块的神经活动，本文认为这种神经活动是大脑切分组块、整合组块内信息的重要机制。什么是跟踪组块的神经活动呢？这种神经活动实现了什么功能呢？这篇综述从三个角度进行了定义和阐述。

频率视角：图1示例中每个组块长度一致；这种条件下，组块跟踪响应定义为与组块节奏一致的神经响应。比如，如果每秒钟呈现一个四字短句(图1G)，那么跟踪组块(即语句)的神经响应定义为每秒重复一次(即1Hz)的神经响应(参见图2AB)。组块跟踪响应在图1展示的其它序列加工任务中，以及数学计算、语言产生等很多其它条件下都被观测到，也被用于评估个体的外语能力以及意识障碍患者的残余语言加工能力。在各种不同的序列加工任务中，组块切分线索不同，为什么都能够产生组块跟踪响应呢？文章认为编码不同类型组块切分线索的脑区都可以驱动、同步更广泛脑网络，从而产生了通用的组块跟踪响应(图2CD）。

图2、组块跟踪响应的频率域分析、其产生脑区及机制

时间视角：如果组块不具有恒定的节律，那么怎么定义组块跟踪响应呢？本文将广义的组块跟踪响应定义为对组块边界响应的神经活动，狭义的组块跟踪响应定义为能够区分组块内不同事件顺序位置的神经活动。换而言之，组块跟踪响应可能只编码了组块的起止时刻，也可能是给组块内的每个单元打了一个标签，这个标签代表了这个单元是组块内的第几个单元。

状态空间视角：上述频率和时间的视角都只考虑了一维（单神经元或单个电极）的神经记录，要了解大脑中不同的神经元或者神经集群如何共同编码序列就要引入高维状态空间的视角。一维组块跟踪响应可以编码事件顺序位置，但是高维状态空间里的组块跟踪响应可以同时编码事件内容及位置。动物研究发现，一个短序列中的每个事件被编码在神经状态空间里的不同子空间（比如每个平面就是三维空间中的一个子空间）。与此类似，本文认为组块内每个顺序位置也被编码在不同的子空间。因此，组块加工过程中，神经活动遍历编码每个顺序位置的子空间（图3AB）。此外，文章也讨论了当组块进一步组成更大的组块时，大脑编码多层级组块结构的可能策略（图3C）。

图3、高维神经状态空间中的组块跟踪响应

组块跟踪响应对组块构建有因果性影响吗？

很多情况下，大脑可以在一个事件到来之前预测其在组块内的顺序位置。比如听到“新年快”，我们会预测这句话还没结束，下一个字是句子中的第四个字；如果听到“新年快乐”，我们会预测这句话结束了，下一个字是下一个句子的第一个字。文章认为大脑通过组块跟踪响应来预测每个即将发生的事件在组块内的位置（图4A），对组块跟踪响应进行操控可以影响时间顺序位置的感知。

组块加工的计算模型

文章认为人工智能领域的Transformer模型为组块内(而非整个序列之内)事件整合提供了计算框架。Transformer模型中，每个事件与其对应的位置编码进行整合，然后事件之间进行整合。文章认为组块跟踪响应为每个事件提供了位置编码（图4B）。

图4、组块跟踪响应提供了顺序位置编码

总结

综上，文章提出了一个新的序列神经组块化框架，认为组块跟踪响应是大脑切分、加工组块的关键机制。组块跟踪响应的功能在于为每个事件分配其组块内顺序位置，对应于Transformer模型中的位置编码，可以对组块加工产生因果影响。

论文作者介绍

丁鼐，浙江大学百人计划研究员，博士生导师，生物医学工程教育部重点实验室副主任。长期致力于研究人脑加工语音、语言等复杂序列的认知神经机制，所提出的多种实验或数据分析方法在领域内得到广泛使用（如时间响应函数、语言结构稳态跟踪响应范式等）。在Nature Neuroscience、Nature Human Behaviour等期刊上发表学术论文40余篇，论文总引用7000余次，5篇论文单篇引用超过500次，2021年起连续4年入选爱思唯尔中国高被引学者。现在或曾经担任eLife, NeuroImage, Imaging Neuroscience等期刊编辑，获听觉神经科学的进展与展望会议(APAN)青年科学家奖，语言神经生物学学会(SNL)理事会成员。

相关论文信息

相关研究发表在Cell Press细胞出版社旗下期刊

Trends in Cognitive Sciences,

▌论文标题：

Sequence chunking through neural encoding of ordinal positions

▌论文网址：

https://www.sciencedirect.com/science/article/pii/S1364661325000324

▌DOI：

https://doi.org/10.1016/j.tics.2025.01.014