【Nature】机器学习实时读取大脑信息，超级计算绘制“思维地图”

【新智元导读】普林斯顿和英特尔合作，开发了一款脑成像分析套件（BrainIAK）的软件工具包，能通过互联网公开提供给任何想要处理fMRI数据的研究人员。他们的最终目标是开发一款能够实时判断人类思维的软件。合作开始两年来，研究者已经把从大脑扫描中提取思想的时间从几天缩减到不到1秒。其成果对计算机科学家和神经科学家都有益。相关的综述文章昨天在 Natue Neuoscience 发表。

为了进一步了解人类大脑的运作方式，今年初，约30名神经学家和计算机程序员聚在了一起。参加会议的研究人员来自普林斯顿大学和全球最大计算机处理器制造商英特尔，他们希望开发一款能够实时判断人类思维的软件。

普林斯顿和英特尔研究人员通过使用核磁共振扫描大脑，发现神经活动在学习、记忆和其他认知功能中起到的作用。双方此次合作快速推进数字化大脑数据的解码。

一篇关于解码大脑扫描的综述性文章刊登在了Nature Neuroscience上，署名作者中既有来自普林斯顿神经科学学院及计算机和电气工程学院的研究者，也有来自Intel Labs（一家英特尔的研究型分支机构）的同事。

“实时监测大脑的能力对于大脑机能紊乱的诊断和治疗有深远意义，对于研究大脑如何运作也有重要作用。”普林斯顿大学神经科学院的联合主任、神经科学教授Jonathan Cohen说。他同时也是此次和Inter合作的发起人之一。

合作开始两年来，研究者们已经把从大脑扫描中提取思想的时间从几天缩减到不到1秒。

会议期间，从实时思维解码中获益良多的一个实验浮出水面。东北大学助理教授 J. Benjamin Hutchinson ——他曾在普林斯顿神经科学院读博士后——设计了一项实验，旨在探索当一个人关注周围环境和浮想联翩时脑部活动的不同。

实验中，Hutchinson 要求志愿者躺在核磁共振扫描仪中，看着一副拥挤餐厅中细节丰富的人像照片。Hutchinson可以通过控制室的计算机判断出者这位毕业生是在看照片还是已经走神儿。然后Hutchinson就可以给这位志愿者一些反馈，当她注意力在照片上时，照片就会变得更清晰更鲜艳，而当她走神时，照片就会黯淡下去。

英特尔俄勒冈实验室的高级首席工程师和英特尔 Mind's Eye Lab 的负责人 Theodore Willke 表示，正在进行的合作已经使希望更多地了解大脑的计算机科学家和想要设计更高效的计算机算法和处理方式的神经科学家受益。

“英特尔对高性能计算的新兴应用很感兴趣，与普林斯顿的合作为我们带来了新的挑战，” Willke说。 “我们也希望将我们从人类智力和认知的研究中学到的东西引入到机器学习和人工智能，以推进其他重要目标，比如更安全的自主驾驶、更快的药物发现和更早的癌症监测。

自二十年前 fMRI 发明以来，研究人员已经提高了每次扫描中筛选大量数据的能力。在我们思考的时候，fMRI 扫描仪时刻捕捉着我们脑部血管中的血流变化信号。 但是从这些测量方法来看，读取一个人实际想法仍然很有挑战性，更别说实时地进行。

普林斯顿和其他机构已经开发了一些用于处理这些数据的技术。 例如，Peter Ramadge， 普林斯顿胡应湘工学院电气工程教授，已经使研究人员能够通过组合来自多人的脑扫描数据来识别与思想相关的大脑活动模式。设计计算机化的指令或算法来进行这些分析仍然是一个主要的研究领域。

强大的高性能计算机通过将任务分解为可并行处理的模块，有助于减少分析时间。据普林斯顿计算机科学教授 Kai Li 说，更好的算法与并行计算的结合使得实时的脑扫描处理变为可能。其中后者也是该合作的创始人之一。

自2015年开始合作以来，英特尔为普林斯顿贡献了超过150万美的经费支持，其中包括提供的计算机硬件和对普林斯顿研究生和博士后的资助。 英特尔还聘用了10名计算机科学家致力于普林斯屯的这一项目。 这些专家与普林斯顿大学的教师、学生和博士后密切合作，不断改进软件。

这些算法借助机器学习来定位数据中的“想法”，这和面部识别软在诸如Facebook等社交媒体上找到朋友使用的是相同的技术。 机器学习包括向计算机展示足够多的样本，以便计算机能够对之前从未见过的新对象进行分类。

合作的结果之一是创建了一个称为脑成像分析套件（BrainIAK）的软件工具包，该软件工具箱可通过互联网公开提供给任何想要处理fMRI数据的研究人员。该团队正在致力于构建实时分析服务。 “我们的想法是，即使研究人员无法访问高性能计算机，或者不知道如何编写软件在这些计算机上运行他们的分析，就可以使用这些工具来实时解码大脑的扫描数据。“ Li说。

受益于即时反馈，这些科学家对大脑的了解最终可能会帮助个人克服注意力困难或其他问题。

例如，实时反馈可以帮助患者训练他们的大脑来削弱侵入性记忆。 虽然这种“大脑训练”方法需要额外的验证，以确保大脑正在学习新的模式，而不只是变得擅长做训练，这些反馈方法还是为新疗法提供了可能，Cohen说。他说，大脑的实时分析也可以帮助临床医生做出诊断。

普林斯顿神经科学研究所心理学教授和 Kenneth Norman 说，实时解码大脑的能力也适用于基本的大脑研究。 “作为认知神经科学家，我们有兴趣了解大脑是如何产生思维的，”诺曼说。 “能够实时地做到这一点大大增加了我们可以的研究外延，”他说。

Norman 告诉我们，技术还可以被用于研究我们是如何学习的。 例如，当一个人听数学课时，某些神经模式被激活。 研究人员可以看看那些听得懂的人和听不懂的人在神经模式方面有什么不同。

这一进行中合作现在集中在改进技术以求更明确地知道人们在想什么，例如，能够识别人类思维的外化——表情。

计算机科学家必须克服的挑战之一是如何将机器学习应用于脑扫描生成的数据类型上。 人脸识别算法可以扫描数十万张照片，以了解如何分类新面孔，但研究人员对每个人的脑部扫描量一般只有几百张。

虽然扫描次数很少，但每次扫描都包含丰富的数据。 软件将大脑图像分成小的立方体，每个大约一毫米宽。 这些立方体称为体素，类似于二维图像中的像素。 每个立方体中的大脑活动都在不断变化。

我们看得更深入一些，是脑区域之间的连接是我们产生了各种各样的想法。典型的扫描可以涵盖100,000个体素，如果每个体素都和其他体素有对话，则可能的对话数量是极为巨大的。 这些对话逐秒变化。 英特尔和普林斯顿计算机科学家的合作克服了这一计算挑战。 李和计算机科学助理教授Barbara Engelhardt，以及于2016年在普林斯顿获得计算机科学博士学位、现在在英特尔实验室工作的Yida Wang，都参与了此项工作。

普林斯顿心理学教授 Nicholas Turk-Browne 说，在没有取得最近的这些进展之前，研究人员需要花费数月的时间来分析数据集。 随着实时核磁共振成像的出现，研究人员在实验进行中就可以对其进行调整。 “如果我的假设涉及大脑的某个区域，而我实时检测到我的实验没有调动起该大脑区域，那么我们就可以改变对志愿者的要求，以期能够更好地调动该区域，潜在地节省宝贵的时间，加速科学发现。“Turk-Browne说。

“最终的目标是能够根据人们的想法创建图片，”Turk-Browne说, “如果你躺在一台扫描仪里，而且正在检索一个特殊的回忆，比如童年的经历。我们希望能过在屏幕上生成一个关于这一经历的照片。这是个遥远的目标，但我们正在取得良好的进展。“

回顾神经科学中的计算与分析

在神经科学中，计算的核心作用在过去十年对 fMRI 数据分析当中体现得越来越明显。

这些方法的基础都是计算机科学和工程学，比如机器学习、图论和控制论，当然也包括上述领域的进展，比如软硬件的优化和并行，后者令前者可以更加有效地、在大规模程度上运行。这些计算上的发展都对神经科学领域带来了定性和定量的影响，就此，普林斯顿大学的 Jonathan Cohen 等人在他们的综述里，有针对性地做了归纳和评析。

摘要

认知神经科学领域的分析方法并不总是能很好地处理丰富的 fMRI 数据。早期的方法重点关注估计单个体素（voxel）或脑区的神经活动。这种方法忽略了体素上神经表征的分布本质、任务过程中神经活动的连续动态、对多个参与者执行联合推理的统计学优势以及使用预测模型约束分析的价值。最近一些探索性和理论驱动的方法已经针对这一点重新思考并进行改善。新的方法强调了在 fMRI 分析中应用计算技术的重要性，尤其是机器学习、算法优化和并行计算。这些技术的采用正在实现新一代的实验和分析，并有望改变我们对一些大脑中最复杂的信号的理解，这些信号都是人类所独有的，比如思考、意图和记忆等认知行为。

文章评析的几种主要的 fMRI 分析方法如下。

1. 多体素模式分析（MVPA）

多体素模式分析分为两种：基于分类器的 MVPA 和基于相似性的 MVPA。

基于分类器的 MVPA（上图中的 a）涉及学习区分与不同认知状态相关联的fMRI模式（例如，面对面对场景）的边界。另一方面，基于相似性的MVPA（上图中 b）涉及计算fMRI模式之间的成对距离的矩阵，并且（可选地）比较该矩阵与其他相似性矩阵——例如，来自关于概念相似性的认知理论的预测。

2. 实时功能磁共振成像（实时 fMRI）分析

按照正常工作流程中，fMRI 数据被收集后，从扫描仪传输到服务器，接下来会在数周、数月或数年的时间内进行离线的分析。这种时间上的之后推动了该领域当前的一大研究热点——在收集数据期间能够做什么，也即实时功能磁共振成像（fMRI）的研究。

作为一种研究工具，实时功能磁共振成像带来很多新的实验设计和训练方法。其中，特别需要指出的是，通过实时分析数据得到的神经结果可以用于调整正在进行的实验。

上图中展示了实时数据被用于调整试验的过程。在收集、预处理和分析脑体积后，得到的结果会在下一次获取完成之前，被用于更新实验代码。神经结果一般会以三种方式得到整合。首先，神经结果可以被直接显示给参与者观看，这种做法的原理是，这种神经反馈能让参与者改进他们的策略，并学习控制哪些脑区或表征是活跃的。第二，实验者可以使用神经结果触发试验的开始，从而测试假设，这些假设是关于区域的活动（或不活动）对感兴趣的认知过程或行为有什么贡献。第三，实验者可以使用神经结果来调整实验参数，从而研究脑区的选择或重复试验。不管方法如何，最终结果是一个时间步长的大脑活动可以影响参与者在下一个时间步里获得的体验，这反过来会影响参与者的大脑活动及其体验。TR是指重复时间，也即下一次体积采集的开始。

3. 基于模型的分析

fMRI中，计算模型在一项关键用途是定义感兴趣的假设信号。靠近边缘的过程，例如视觉感知，通常涉及具体的、可量化的变量，这些变量能够相对直接地用于概念化、操纵和测量。举例说，设计一个实验来测试大脑区域在颜色视觉中的参与了多少，相比测试更加抽象的构造（如预测误差或置信度）要清晰很多。这不仅仅是颜色更加直观，也是因为视觉的心理学和神经科学早已建立了坚实的计算基础，通过形式主义（如信号检测理论）得到指导。这些理论最初来自工程学，但现在在实验设计和分析中也得到广泛和深入的应用，对于知觉的关键步骤以及如何评估它们的操作给出了明确的指南。

基于模型的 fMRI 允许研究人员超越局部化大脑中的模型变量。一旦知道了位置，这些信号可以在以后的实验中读出，并用于独立于行为的参数估计，通过模型比较来判断参与者正在使用哪些计算过程以及上面讨论的各种实时设计。

上图是基于模型的 fMRI 示意图。计算模型（顶部；误差驱动的奖励学习模型）可被用于生成内部变量的候选时间序列（V 代表值，用蓝色显示，预测误差是δ，红色显示）。在平滑解决血液动力学滞后（中间）之后，这些变量可被用于回归分析，寻找脑中的相关 BOLD 活动（下），产生可以被认为是用于执行或跟踪模型中的相应计算的候选者的区域。α代表学习率参数。

4. fMRI 实时云 Saas

接下来，作者介绍了提升这些 fMRI 分析的手段，我们在这里就重点介绍上文里提到的实时分析技术。

在实施实时FCMA时，研究人员设计了一个系统架构，原则上可用于实时执行其他密集型fMRI分析（图7）。扫描器控制室配备有简单的工作站，当它们离开扫描仪时收集和传输重建的脑体积。

这方方法使用 HTTP 接口来向云传输和从云接收信息。云托管表征状态转移（REST）前端服务器，与分布式后端（由主进程协调）通信，后者提供组成流水线阶段的一组灵活的进程。其中一些阶段会涉及使用多台机器进行大规模计算的分布式并行处理。另外一些更简单的阶段，如空间滤波和分类器评分，则只需要一台机器。

这套系统能够提供多种服务，让实时 fMRI 实验能够从不同的神经影像中心同时运行。该系统还被设计为对机器故障具有容错性和鲁棒性，从而确保其对科学研究的可靠性。这样的云服务最终将有利于所有 fMRI 分析，并提高标准化和可复现性。据介绍，只需要一个后端硬件和软件就行了。此外，这类云服务还让所有用户都能使用大规模分析，不仅仅限于拥有专用系统的高端用户。

结语

Jonathan Cohen 等人在综述的结论中写道，“有时很容易忘记 fMRI 已经存在了二十多年了。”

在文章中，作者总结了神经科学常用的分析方法，并指出“即使我们对哪些方向似乎最有希望的观点被证明是不准确的，基本的主题看来也可能证明是正确的：fMRI 分析将受益于与相邻领域的密切对齐，例如认知科学、计算机科学、工程学，统计学和数学”。

随着这些领域（和神经科学）在技术行业中越来越多地体现，资助和伙伴关系的新机会，以及研究的新应用也将出现。

与此同时，研究人员认为可重复性、公共数据库、代码共享和公民科学也应该得到更多的重视，这些都将带来新的、负担得起的数据来源和新的发现途径。

与其他数据集相结合，使用强大的技术分析工具，我们能够从数据中获得更多更好的洞见。

编译来源：

1. Princeton-Intel collaboration breaks new ground in studies of the brain，eurekalert
2. Computational approaches to fMRI analysis，doi:10.1038/nn.4499