这个“读心术”的算法可以解读你大脑中的图像

想象一下,在一堆数码照片中快速搜索你想要的人或图像。或者在不拿笔的情况下,画出你喜欢的人的样子。一台能读懂你的大脑的计算机会在日常生活中提供很多帮助。现在,科学家们已经创造出了第一个这样的算法,能够解读并精确地复制人类看到或想象的图像。但是,也许要过几十年,这项技术才会被应用到实际应用中。

一种新的算法使用大脑活动来创建被观测的照片(下面的两行)的重建图(第一行)

使用算法来解读心理图像并不是项新技术。自2011年以来,研究人员通过将大脑活动与在观看图像时记录的活动相匹配,重新创建了电影片段、照片甚至梦境图像。但是,这些方法都有其局限性:有些只能处理像人脸形状这样的窄域,而另一些则必须从预先设定的图像,像是“人”或“鸟”这样的类别中进行选择。

日本京都大学的四位科学家正在将这一技术变得越来越接近现实。去年12月下旬,Guohua Shen, Tomoyasu Horikawa, Kei Majima和Yukiyasu Kamitani公布了他们最新的研究成果,他们利用人工智能在一个叫做BioRxiv的科学平台来解读想法。

机器学习以前被用于研究脑部扫描(核磁共振成像),并在提及简单的二进制图像时生成人类的想法,二进制图像可以是黑白字母或简单的地理形状(如下图所示)。

但是这些科学家们开发了利用深度神经网络(人工智能)“解读”思想的新技术。这项新技术让科学家们可以解读更复杂的“等级”图像,这些图像有多层的颜色和结构,比如鸟的图片,或者戴着牛仔帽的人。

“我们一直在研究一种方法,通过观察一个人的大脑活动,来重建或重新创造一个人看到的图像,”Kamitani说道。“我们之前的方法是假设图像由像素或简单的形状组成。但众所周知,我们的大脑是通过分层提取不同层次的特征或组件来处理视觉信息的。”

新的人工智能研究让计算机能够探测到物体,而不仅仅是二进制的像素。Kamitani说:“这些神经网络或人工智能模型可以作为人类大脑的层次结构的代表。”

在这项研究中,在10个月的时间里,三个实验对象被展示成了自然的图像(如鸟或人的照片),人造的几何形状,以及按照排序的字母,展示的时间长短不一。

他们绘制了分辨率为2毫米的视觉处理区域,三个人分别看了超过1000幅图像。他们的目标是仅仅考虑这些活动的反应,最终让计算机绘制出几乎相同的活动图像。

但是,他们并没有展示他们的实验对象,而是为大脑构建了一个软件替身,一个有几层简单的处理元素的深度神经网络(DNN)。

通过使用一个“解码器”,研究人员在深度神经网络中创造出了大脑对图像的反应。从那时起,他们不再需要真正的功能核磁共振成像测量。

在猜测某人在看什么时,深度神经网络作为一个模板,功能核磁共振成像数据被放在一边。然后,系统尝试绘制一幅图片,它将触发深度神经网络以与该模板匹配的方式进行响应。通过反复试验,直到它能描绘出想要的图像。为了更接近理想的图像,系统计算了深度神经网络活动和模板化的深度神经网络活动之间的区别。这些计算使它能够以这种方式使像素越来越清晰,直到它接近它的理想图像。

为了使最终产生的图像结果更加准确,研究人员使用了一个“深度生成器网络”(DGN),这个算法在这个例子中被预先训练以生成基于其输入的真实图像。DGN对这些画作进行了改良,使其看起来更自然。研究人员在上个月底的一篇论文中称,一旦这一要素被添加到训练中,人类观察者在99%的时间就能分辨出两张照片中哪张图像是重建的。

接下来,科学家们仅仅通过想象图像来试图解读人们的思维。这一次,他们扫描了三个受试者的大脑,要求他们回忆之前展示过的图像,包括鱼、飞机和简单的彩色图形。该方法的效果不是很好,生成器在83%的时间内创建了一个可识别的图像。

下面的流程图打破了可视化是如何被“解读”的科学。

下面的两张图表显示了计算机为那些在查看自然图像和字母图像时的活动被记录的对象所重建的结果。

Kamitani说:“与以前的方法不同,我们可以通过想象一些记忆的图像来重建一个人的视觉图像。”正如下图所示,当解读大脑信号时,人工智能系统在重建时变得更加困难。这是因为一个人很难准确地记住他所看到的一只猎豹或一条鱼的形象。

Kamitani说:“在这种情况下,大脑的激活就变得更少了。”

随着该技术的准确性不断提高,潜在的应用程序是令人难以置信的。这种可视化技术可以让你通过想象一些东西来画画或者创作艺术;你的梦想可以通过计算机来实现;此外,精神病患者的幻觉可以变得可视化,方便医生为他们进行治疗;Kamitani还提到,大脑机器界面可能有一天会允许人类与图像或想法进行交流。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2018-01-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

深度 | 图普科技工程师:Mask R-CNN的理论创新会带来怎样的可能性?

melmcgowan 上周,AI 科技评论报道了 Facebook 实验室出炉的新论文《Mask R-CNN》,第一作者何恺明带领团队提出了一种名为「Mask ...

2595
来自专栏AI科技评论

从计算机视觉的小白变为大神,你需要经历这七个阶段

如果想要机器能够进行思考,我们需要先教会它们去看。 李飞飞——Director of Stanford AI Lab and Stanford Vision...

2805
来自专栏CreateAMind

可解释性与deep learning的发展

大家好,我叫张拳石,UCLA博士后。目前在朱松纯老师的实验室,带领一个团队,做explainable AI方向。本文的题目有些大,这篇短文中,我只简单谈谈个人对...

1074
来自专栏AI研习社

深度学习+机器人,哪些技术方向最有可能产生火花?

AI 研习社按:本文作者qqfly,上海交通大学机器人所博士生,本科毕业于清华大学机械工程系,主要研究方向机器视觉与运动规划,会写一些好玩的内容在微信公众号:N...

3678
来自专栏量子位

Caffe2正式发布!新框架有何不同?贾扬清亲自解答

王新民 若朴 发自 凹非寺 量子位 报道 | 公众号 QbitAI ? △ 图左为Caffe2作者贾扬清 今天凌晨召开的F8大会上,Facebook正式发布C...

3646
来自专栏人工智能头条

面部表情识别新方式:Multimodal Learning实现Image与Landmark的融合

1205
来自专栏企鹅号快讯

算法到实战,如何把深度学习应用到生活?

计算机视觉是一门研究如何使机器“看”的科学,掌握解决具体计算机视觉任务的方法则会帮助我们解决大规模系统的复杂问题,其应用相当广泛,包括并不限于:图像分类,人脸识...

2018
来自专栏企鹅号快讯

计算机视觉:让冰冷的机器看懂多彩的世界

作者:微软亚洲研究院 链接:https://www.guokr.com/article/439945/ 2010年,来自斯坦福大学、普林斯顿大学及哥伦比亚大学的...

4329
来自专栏AI研习社

算法到实战,如何把深度学习应用到生活?| 回顾

计算机视觉是一门研究如何使机器“看”的科学,掌握解决具体计算机视觉任务的方法则会帮助我们解决大规模系统的复杂问题,其应用相当广泛,包括并不限于:图像分类,人脸识...

3106
来自专栏计算机视觉战队

人脸检测与识别技术(怎么去创新?)

首先给大家展示下简单的人脸检测与识别!(生活场景剧——生活大爆炸!) ? ---- 自从“阿法狗”再次击败人类,再一次掀起了深度学习(人工智能)的热潮。而且在该...

3916

扫描关注云+社区