学界 | 离「脑机接口」再近一步，日本研究员根据大脑fMRI重建看到的图像

AI 科技评论按：位于日本的国际电气通信基础技术研究所（ATR）的计算神经科学实验室和京都大学日前联合发布了一篇论文，他们可以借助 fMRI（功能性磁共振成像）技术和基于深度学习的算法根据人的大脑活动重建人类看到的图像。

在论文《Deep image reconstruction from human brain activity》（根据人类大脑活动进行深度图像重建）中，作者们介绍道：「这个重建算法可以从一张随机图像出发，迭代地优化其中的像素值，最终让这张图像经过深度神经网络之后产生的特征和大脑活动经过特征解码后得到的多层特征类似。最终得到的优化图像就可以看作是对大脑活动的重建。」

模型总体结构：用于提取图像特征的 DNN 网络会提取图像特征，然后与解码出的人类大脑活动特征进行对比，根据两者的误差引导用于重建图像的 DGN 网络迭代优化图像，最终得到重建结果。

为了收集训练数据，研究员们让被试者观看图像，用 fMRI 记录下他们当时的大脑活动。观看的图像样本包括几何图形、自然世界照片和字母；采集数据前后共花了 10 个月时间。

重建出的部分图像请见下方动图。

逐步迭代生成重建图像

英文字母的重建结果

作者们用了许多不同的图像输入做了测试。可以看到每个类别的重建结果都和原图差别不小，但已经体现出了不小的区分度。考虑到 fMRI 能采集到的信息有限，同时人的视觉皮层的工作机理也还没完全研究明了，这样的结果已经足以令人眼前一亮了。

原论文地址： https://www.biorxiv.org/content/early/2017/12/30/240317

论文摘要：用基于机器学习的方法分析人类 fMRI 的图样模式已经让可视化人类意识中的内容变得可能。不过，之前的研究都仅限于低层次的基础图像元素，或者只是成功匹配了典型样例。近期的一些工作已经展现出，人类大脑视觉皮层的活动可以被解码（翻译）为深度神经网络的不同层级的特征，这就给利用层次化视觉特征带来了新的方法。

在这篇论文中，作者们展示了一种全新的图像重建方法：在采集人类大脑活动并将其解码为多层特征之后，可以用优化手段生成新的图像，让新的图像的深度神经网络特征和前面解码出的特征相似。作者们发现，这样优化得到的图像和输入图像（fMRI 成像期间给人类测试者看的刺激图像）很类似，不仅图像本身的外观类似，对图像中内容的主观理解也类似。尽管作者们仅仅使用了日常照片训练模型，他们的方法还是可以成功泛化到人造形状的重建中，这表明他们的方法确实可以根据人脑活动「重建」或者「生成」图像，而不是简单匹配了典型样例。在生成图像过程中，生成模型附加了一些让重建的图像更且像自然图像的限制，这样就以一种高效的方法让重建的图像带有了具有语意意义的细节。根据人类观察的反馈，综合神经网络中多个不同的层的特征形成的图像比只用单个层的图像具有更高的视觉质量。总的来说，这项研究表明人类大脑的层级化视觉信息可以被高效地综合利用，重建出感知性的、主观的图像。