Science Bulletin | 上海科技大学李远宁&电子科技大学顾实课题组建立基于AI和脑网络集成学习的视觉神经编码模型

近日，上海科技大学李远宁与电子科技大学顾实联合团队在Science Bulletin上发表题为“Enhancing neural encoding models for naturalistic perception with a multi-level integration of deep neural networks and cortical networks”的研究论文，介绍了一种新的基于深度学习与脑网络融合的大脑视觉响应编码预测模型框架。

视觉感知能力，例如从视频中理解场景和事件，是构成智能行为的基本认知能力，也是计算机视觉中的热门话题，对于生物智能和人工智能的研究都具有重要意义。建立能够准确预测神经反应和相关感知行为的模型，揭示潜在神经过程背后的原理和机制是认知和计算神经科学的一个重要问题。这不仅需要理解哪些大脑区域参与特定的认知功能，而且还要发现它们所采用的计算原则。建立准确的神经响应编码预测模型也是理解并干预神经活动的理论基础和重要基石。

图1 基于深度学习与脑网络融合的大脑视觉响应编码预测模型示意图

近年来认知计算神经科学领域已受到深度神经网络 (DNN) 极大影响。在该领域，使用预训练的、针对任务优化的深度神经网络作为特征提取器来创建单体素级别的神经编码模型(voxelwise encoding model)是一种广泛采用的方法。然而对这一研究和建模范式来说，存在两个关键但通常被忽视的问题：

1）DNN和大脑根植于非常不同的机制：例如大部分DNN是纯前馈网络，而大脑视觉通路存在很多非前馈非层级性的结构，并且这些DNN往往针对特定的视觉任务进行优化，而并没有考虑大脑功能组织的任何信息（例如各个功能网络的动态组合）。因此，特定DNN的特征表征可能存在偏差，与实际的神经表征不匹配。这种特征对齐上的不匹配可能导致神经编码模型的性能欠佳和解释性差。2）在构建单体素预测模型时，大部分模型仅仅孤立地构建各个体素内神经活动的预测模型，并没有考虑体素之间的相似性以及功能网络的结构信息。而这类信息可能有助于模型的偏置归纳(inductive bias)从而进一步提升模型性能。

在此项工作中，研究人员针对这两个难点，提出了一种全新的基于DNN模型特征层面和大脑网络层面的双重整合的神经编码模型框架：一方面通过使用集成学习框架来整合利用神经网络在不同训练阶段各层特征表征的多样性信息，同时通过多层次的集成学习克服不同层级特征预测模型收敛速度不同的困难；另一方面通过单体素模型构建和划分功能网络，实现大脑图谱级别的编码模型整合来融合脑网络结构信息。研究者在大型功能磁共振数据集上运用这个新框架，基于10种不同类型的主流视觉深度学习模型构建了多种集成学习编码预测模型。该数据集记录了人类被试在观看大量自然场景视频时全脑神经活动，研究人员在此数据集上对比分析验证了这类新型集成模型比以往基于DNN的编码模型具有更优越的预测准确性，并展示了该模型在表示复杂视觉概念（如类别和运动信息）方面的改进提升。

该工作建立了一个可扩展的将多层次大脑组织信息与深度神经网络模型集成，以表征对自然视频刺激的全脑神经反应的新框架；展示了如何利用多层次的深度神经网络信息以及大脑功能连接组信息促进全脑神经编码预测，将脑网络研究与单体素预测模型结合，有助于深入理解和调控大脑的高级皮层的功能。

上海科技大学生医工学院李远宁教授为论文的共同第一和通讯作者，电子科技大学顾实教授为共同通讯作者，宾夕法尼亚大学杨虎铮为共同第一作者。该研究获得了国家自然科学基金，深圳市科技创新委员会，上海市浦江人才计划项目基金支持。