大脑如何编码视觉信息？动态电极到图像(DETI) 映射技术也许有助于我们揭示其原理

人类越来越接近于了解大脑如何编码视觉信息，因为研究人员现在已经开发出一种方法，可以将随时间变化的大脑反应映射到图像，以揭示大脑如何处理视觉信息。

来自于科尔盖特大学、贝茨学院和康奈尔大学的研究人员们合作，利用EEG的高时间分辨率来开发一种基于真实世界场景的响应分布的编码技术。这种方法将神经信号映射到给定图像中的每个像素，并揭示视觉编码的特定位置转换，在每个电极上为图像提供一个时空特征。

研究人员引入动态电极到图像(DETI) 映射，这是一种利用高脑电图(EEG) 的时间分辨率，以呈现与不同神经信号随时间变化的视觉特征图。

DETI 映射过程示意图

DETI 映射过程示意图如上。所有刺激都在 log-Gabor 滤波器功率响应空间中表示，该空间由所有刺激的每个像素坐标处的七个峰值 SF 定义（左上角的 8 个 cpd 编码器响应示例）。对于任何给定的时间点和电极，以及在任何给定的像素坐标，我们对给定编码器的所有图像的滤波器响应进行采样，并将它们组装成 80 x 1 阵列（对每个编码器重复此操作）。然后，对于任何给定的时间点和电极，每个编码器的 80 x 1 滤波器响应阵列与对应时间点的所有图像诱发的 VEP 数据中获取的第一个 PC 进行回归。然后产生了两种类型的地图：通用图像(image-general)地图（右下）和特定图像(image-specific)地图（左下）。通用图像用具有最高 R2 的编码器的 SF 标记每个像素坐标。同样，特定图像的分析旨在找到能够最好地预测任何给定刺激下第一个PC捕获的所有图像的VEP变异性的编码器。

查看映射到图像的神经反应的实时示例。

神经科学教授Bruce C.Hansen 表示，“在观看任何环境时，我们的大脑通过大量神经元编码视觉信息，以实现各种智能行为。然而，用于指导行为的视觉编码并不像图片那样稳定，而是随着时间的推移而演变，不同神经元群体在不同的时间点贡献编码。我们的 DETI 映射技术提供了对图像中每个位置随时间变化的编码的初步了解。”

基于功能磁共振成像(fMRI) 的体素编码分析的最新进展使得基于大脑数据的图像重建成为可能，但由于 fMRI 的时间分辨率有限，因此只能及时渲染单个快照。 Hansen 及其同事介绍的 DETI 映射程序是基于 EEG 信号，这可以以毫秒精度映射图像神经编码。

来自电极 90 在不同时间点的其他刺激示例及其 DETI 映射

为了成功地将视觉编码映射到脑电图数据的图像中，Hansen和他的同事们克服了多种方法上的挑战。“脑电图记录的大脑信号会受到头骨的干扰，而且由于大脑的折叠模式，会有不同程度的抵消。”研究人员使用了一种生物学上合理的大脑编码模型，通过测量大量图像中编码像素与由此产生的神经反应变化之间的对应关系来规避这些问题。“考虑DETI制图程序如何工作的一种方法是，将一幅图像传入大脑，并将产生的神经编码投射回图像上。”由于 EEG 可以测量不同头皮位置的神经信号，DETI 映射生成了一个多路复用视图，显示不同神经元群体如何随着时间的推移对图像中不同位置的图像特征进行编码，而这曾经被认为用 EEG 数据是不可能做到的。

使用所有电极将所有编码器标记的图像在每个时间点投影到状态空间表示中的过程示意图

图中过程要么是对整个图像(左上)进行的，要么是对位于9个不同区域的图像(左下)的补丁进行的。对于整个图像或图像块，如文本中所述计算编码器概率。在每个时间点和所有电极上，每个编码器的概率以逐个图像为基础存储在矩阵中(例如，每个时间点的一个378 x 80矩阵)。然后将每个矩阵提交给PCA，前两个pc定义编码图像的状态空间。然后用log10 hsf - lsf概率比对每张图像进行特征分析。

DETI 程序生成的映射数据为图像的神经编码如何随时间演变提供了新的重要见解。 Hansen 及其同事的这项研究重要成果之一是，大脑似乎以一种方式扫描图像，这种方式强调在不同时间点具有不同神经群体的不同图像区域。“这样的扫描程序可能有助于及早确定地平面的优先级，以支持导航判断，随后将重点放在地标组织上。”

这些发现引出了新的且有趣的问题，即当人们从事不同的任务时，不断发展的神经编码如何通知更高层次的认知过程。“我们知道视觉信息的编码分布在大量神经元中，但编码的分布方式取决于给定任务的目标。这意味着大脑并不是简单地根据环境创造出一幅心理图景，而是创建一个最符合人的行为目标的表征。”

研究人员表示，值得庆幸的是，DETI映射使我们有机会探索基于任务的视觉编码的神经动力学，以及这些编码如何最终支持基于任务的决策。

论文信息

Hansen, Bruce & Greene, Michelle & Field, David. (2021). Dynamic Electrode-to-Image (DETI) mapping reveals the human brain’s spatiotemporal code of visual information. PLOS Computational Biology. 17. e1009456. 10.1371/journal.pcbi.1009456.

https://www.eurekalert.org/news-releases/931755