【黑科技】新一代脑机接口技术基石：通过大脑扫描数据重建图像
【新智元导读】 中国科学院自动化研究所的研究团队提出了一种令人既兴奋又恐慌的大脑黑科技——读脑术算法。“新提出的技术有效克服了这个领域的一系列难点，能够更加精确地读懂人类大脑信号，还原出人眼所看到的视觉场景。该技术不仅对计算神经科学意义重大，也是研发新一代脑-机接口技术的基石。”
作者简介：何晖光，中国科学院自动化研究所研究员，博士生导师，美国电气与电子工程师协会（IEEE）高级会员。
论文地址：https://arxiv.org/pdf/1704.07575.pdf
近日，中国科学院自动化研究所的研究团队提出了一种令人既兴奋又恐慌的大脑黑科技：“读脑术”。据 5月6号的MIT Technology Review 头条报道，读脑术算法可以通过大脑扫描数据重建图像，其评论道，“新提出的技术有效克服了这个领域的一系列难点，能够更加精确地读懂人类大脑信号，还原出人眼所看到的视觉场景。该技术不仅对计算神经科学意义重大，也是研发新一代脑-机接口技术的基石。”
That’s interesting work with significant implications. The ability to reconstruct brain images is an important stepping stone in the work to create better brain-machine interfaces.
—— MIT Technology Review
大脑是人体最为神秘复杂的部分，我们的思想和记忆都寄放在其中。你或许会认为思想是无形无实，而且无法预测的，但实际上我们的思想就隐藏在复杂的大脑活动信号之中。随着对大脑的认识日益加深，我们有望精确解码大脑中的信号，将我们大脑中的想法转化成自动化设备的驱动力。
“读脑术”的原理就是视觉信息解码，即根据所获得的大脑活动信号，通过数学模型恢复出被试者所看到的图像场景。目前视觉信息解码被广泛应用于视觉认知研究。为了充分发挥视觉信息解码的功能，实现其在计算神经科学以及脑机-接口等领域的应用，中科院自动化所类脑智能研究中心何晖光研究团队在国家自然基金重点项目《基于视觉信息编解码的深度学习类脑机制研究》的支持下，提出了先进的多视图视觉信息编解码模型，并在深度学习的类脑机制方面做出了创新性的工作。
为了有效建立大脑信号和外部刺激之间的关系，研究团队首次提出了基于多视图生成式模型的视觉信息编解码的研究框架，即假定大脑信号和外部刺激是由同一隐含变量生成。通过学习一个多视图变分自编码器可以建立外部刺激到脑信号的双向映射关系。将视觉信息编解码问题看作多视图学习中缺失视图的推断问题，即通过视觉图像可以推断出大脑信号（编码），通过脑信号也可以推断出图像（解码）。
该研究框架基于深度学习以及贝叶斯学习理论，既具有深度神经网络强大的特征学习能力又具有贝叶斯方法的鲁棒性和自适应性，能较好的避免对小样本量低信噪比的fMRI数据的过拟合。大量实验结果表明该框架具有非常好的视觉图像重建效果。
值得关注的是新提出的多视图框架具有良好的可扩展性：可以做无监督的编解码也可以做有监督（半监督）的编解码；可以做单个被试的编解码也可以扩展到多个被试；可以做静态图像的编解码也可以扩展到时序模型做动态视频的编解码。需要注意的是，在尝试复杂的自然场景或者梦境解码时需要有足够多的成对数据来训练深度神经网络，数据量太小话难以学习到两种复杂数据源之间的关系。
何晖光博士在上个月的视觉与学习青年学者研讨会Valse 2017会议上介绍了相关研究，工作也将会在Human Brain Mapping （HBM） 2017 上做口头报告。（Human Brain Mapping 是国际脑成像领域最具影响力的学术组织，其年会代表了该领域的国际研究最前沿，该会议每年从约3000-5000 份递交的投稿会议摘要中遴选出约3%作为大会口头报告）。论文的第一作者是中科院自动化所类脑智能研究中心的博士生杜长德。
参考文献：
- Changde Du, Changying Du, Huiguang He*, Sharing deep generative representation for perceived image reconstruction from human brain activity, ttps://arxiv.org/abs/1704.07575
- https://www.technologyreview.com/s/604332/mind-reading-algorithms-reconstruct-what-youre-seeing-using-brain-scan-data/