剑桥大学开发AI模型，结合视觉与语义信息，研究大脑识别过程

编译：chux

出品：ATYUN订阅号

剑桥大学的神经科学研究人员将计算机视觉与语义相结合，开发出一种新模型，有助于更好地理解大脑中物体的处理方式。

人类识别物体的能力涉及两个主要过程，即对象的快速视觉分析和整个生命过程中获得的语义知识的激活。之前大多数研究分别研究了这两个过程，因此，它们的相互作用仍然不是很清楚。

剑桥研究人员团队使用一种新方法研究了物体识别过程，该方法将深度神经网络与吸引子网络语义模型相结合。与之前的大多数研究相比，他们的技术既考虑了视觉信息，也考虑了有关物体的概念知识。

剑桥研究人员表示，“我们之前曾对健康人和脑损伤患者进行了大量研究，以更好地了解物体在大脑中的处理方式。这项工作的主要贡献之一是表明理解物体是什么涉及视觉输入随着时间的推移迅速转变为有意义的表现形式，这种变革过程是沿着腹侧颞叶的长度完成的。”

研究人员坚信，访问语义记忆是理解对象是什么的关键，因此仅关注与视觉相关的属性的理论并不能完全捕捉到这个复杂的过程。

集成模型的体系结构，其中越来越复杂的视觉信息映射到语义信息。

研究人员解释说，“这是当前研究的最初动机，我们希望完全理解低级视觉输入如何映射到对象意义的语义表示上。”为此，他们使用了一个专门用于计算机视觉的标准深度神经网络，称为AlexNet。

他们解释说：“这个模型以及其他类似模型可以非常精确地识别图像中的对象，但它们不包含任何关于对象语义属性的明确知识。例如，香蕉和猕猴桃的外观（不同的颜色，形状，质地等）非常不同，但是，我们能够正确地理解它们都是水果。计算机视觉的模型可以区分香蕉和猕猴桃，但它们不是编码更抽象的知识，两者都是水果。”

研究人员承认神经网络对计算机视觉的局限性，将AlexNet视觉算法与神经网络相结合，神经网络将概念意义（包括语义知识）放到对方程的分析中。

研究人员指出，“在组合模型中，视觉处理映射到语义处理并激活我们关于概念的语义知识。”

他们的新技术在16名志愿者的神经影像数据上进行了测试，他们被要求在对象进行fMRI扫描时命名。与传统的深度神经网络（DNN）视觉模型相比，新方法能够识别与视觉和语义处理相关的大脑区域。

视觉上的DNN（紫色）和语义吸引子网络（红黄色）的不同层是如何映射到大脑不同区域的。

“这项研究最关键的发现是，通过考虑物体的视觉和语义属性，可以更好地模拟物体识别过程中的大脑活动，这可以通过计算建模方法捕获，”研究人员解释说。

他们设计的方法对大脑中语义激活的阶段进行了预测，这与先前的对象处理过程一致，其中更粗粒度的语义处理让位于更精细的处理。研究人员还发现，该模型的不同阶段预测了大脑对象处理途径的不同区域的激活。

“最终，人们如何有意义地处理视觉对象的更好模型可能具有实际的临床意义，例如，在理解语义痴呆等条件下，人们失去了对象概念意义的知识，”研究人员说。

在剑桥进行的研究对神经科学领域做出了重要贡献，因为它展示了大脑的不同区域如何促进对象的视觉和语义处理。

研究人员补充说：“现在研究一个地区的信息如何转化为我们在大脑不同区域看到的不同状态至关重要。为此，我们需要了解连通性和时间动力学如何支持这些变革性神经过程。”