这个“读心术”的算法可以解读你大脑中的图像

想象一下,在一堆数码照片中快速搜索你想要的人或图像。或者在不拿笔的情况下,画出你喜欢的人的样子。一台能读懂你的大脑的计算机会在日常生活中提供很多帮助。现在,科学家们已经创造出了第一个这样的算法,能够解读并精确地复制人类看到或想象的图像。但是,也许要过几十年,这项技术才会被应用到实际应用中。

一种新的算法使用大脑活动来创建被观测的照片(下面的两行)的重建图(第一行)

使用算法来解读心理图像并不是项新技术。自2011年以来,研究人员通过将大脑活动与在观看图像时记录的活动相匹配,重新创建了电影片段、照片甚至梦境图像。但是,这些方法都有其局限性:有些只能处理像人脸形状这样的窄域,而另一些则必须从预先设定的图像,像是“人”或“鸟”这样的类别中进行选择。

日本京都大学的四位科学家正在将这一技术变得越来越接近现实。去年12月下旬,Guohua Shen, Tomoyasu Horikawa, Kei Majima和Yukiyasu Kamitani公布了他们最新的研究成果,他们利用人工智能在一个叫做BioRxiv的科学平台来解读想法。

机器学习以前被用于研究脑部扫描(核磁共振成像),并在提及简单的二进制图像时生成人类的想法,二进制图像可以是黑白字母或简单的地理形状(如下图所示)。

但是这些科学家们开发了利用深度神经网络(人工智能)“解读”思想的新技术。这项新技术让科学家们可以解读更复杂的“等级”图像,这些图像有多层的颜色和结构,比如鸟的图片,或者戴着牛仔帽的人。

“我们一直在研究一种方法,通过观察一个人的大脑活动,来重建或重新创造一个人看到的图像,”Kamitani说道。“我们之前的方法是假设图像由像素或简单的形状组成。但众所周知,我们的大脑是通过分层提取不同层次的特征或组件来处理视觉信息的。”

新的人工智能研究让计算机能够探测到物体,而不仅仅是二进制的像素。Kamitani说:“这些神经网络或人工智能模型可以作为人类大脑的层次结构的代表。”

在这项研究中,在10个月的时间里,三个实验对象被展示成了自然的图像(如鸟或人的照片),人造的几何形状,以及按照排序的字母,展示的时间长短不一。

他们绘制了分辨率为2毫米的视觉处理区域,三个人分别看了超过1000幅图像。他们的目标是仅仅考虑这些活动的反应,最终让计算机绘制出几乎相同的活动图像。

但是,他们并没有展示他们的实验对象,而是为大脑构建了一个软件替身,一个有几层简单的处理元素的深度神经网络(DNN)。

通过使用一个“解码器”,研究人员在深度神经网络中创造出了大脑对图像的反应。从那时起,他们不再需要真正的功能核磁共振成像测量。

在猜测某人在看什么时,深度神经网络作为一个模板,功能核磁共振成像数据被放在一边。然后,系统尝试绘制一幅图片,它将触发深度神经网络以与该模板匹配的方式进行响应。通过反复试验,直到它能描绘出想要的图像。为了更接近理想的图像,系统计算了深度神经网络活动和模板化的深度神经网络活动之间的区别。这些计算使它能够以这种方式使像素越来越清晰,直到它接近它的理想图像。

为了使最终产生的图像结果更加准确,研究人员使用了一个“深度生成器网络”(DGN),这个算法在这个例子中被预先训练以生成基于其输入的真实图像。DGN对这些画作进行了改良,使其看起来更自然。研究人员在上个月底的一篇论文中称,一旦这一要素被添加到训练中,人类观察者在99%的时间就能分辨出两张照片中哪张图像是重建的。

接下来,科学家们仅仅通过想象图像来试图解读人们的思维。这一次,他们扫描了三个受试者的大脑,要求他们回忆之前展示过的图像,包括鱼、飞机和简单的彩色图形。该方法的效果不是很好,生成器在83%的时间内创建了一个可识别的图像。

下面的流程图打破了可视化是如何被“解读”的科学。

下面的两张图表显示了计算机为那些在查看自然图像和字母图像时的活动被记录的对象所重建的结果。

Kamitani说:“与以前的方法不同,我们可以通过想象一些记忆的图像来重建一个人的视觉图像。”正如下图所示,当解读大脑信号时,人工智能系统在重建时变得更加困难。这是因为一个人很难准确地记住他所看到的一只猎豹或一条鱼的形象。

Kamitani说:“在这种情况下,大脑的激活就变得更少了。”

随着该技术的准确性不断提高,潜在的应用程序是令人难以置信的。这种可视化技术可以让你通过想象一些东西来画画或者创作艺术;你的梦想可以通过计算机来实现;此外,精神病患者的幻觉可以变得可视化,方便医生为他们进行治疗;Kamitani还提到,大脑机器界面可能有一天会允许人类与图像或想法进行交流。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2018-01-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

涨姿势!用深度学习LSTM炒股:对冲基金案例分析

1724
来自专栏新智元

【Nature雄文】当深度学习遇上生物学——440篇bioRxiv相关讨论创史上之最

新智元编译 来源:Nature 作者:Sarah Webb 编译:赵以文 【新智元导读】深度学习为分析生物大数据提供了强大的工具。BioRxiv预印本服...

41815
来自专栏机器之心

学界 | 批训练、注意力模型及其声纹分割应用,谷歌三篇论文揭示其声纹识别技术原理

3826
来自专栏机器之心

前沿 | MIT提出实时3D医疗影像生成算法:速度提升1000倍

Voxelmorph 项目链接:https://github.com/voxelmorph/voxelmorph

1020
来自专栏磐创AI技术团队的专栏

AI医疗开创性研究:深度学习进行病变检索和匹配(31 PPT)

983
来自专栏新智元

【AI学会“以牙还牙”】OpenAI发布多智能体深度强化学习新算法LOLA

【新智元导读】OpenAI和牛津大学等研究人员合作,提出了一种新的算法LOLA,让深度强化学习智能体在更新自己策略的同时,考虑到他人的学习过程,甚至实现双赢。每...

3556
来自专栏AI研习社

如何让无人机灵活穿越满是障碍的房间?训练一个循环神经网络试试看

如今,深度学习已经在语音识别、计算机视觉等多个应用领域取得了重大突破。然而,要说到它在机器人领域的发展,那就要另当别论了——深度学习在机器人领域,不仅发展速度慢...

32810
来自专栏ATYUN订阅号

MIT新AI模型揭开黑匣子:使用透明的、类似人类的推理解决问题

如果向孩子呈现各种形状的图片,并要求他们找到大的红色圆圈,为了得出答案,可能经历几个推理步骤:首先,找到所有大的东西;接下来,找到大的红色的形状;最后,挑选出一...

694
来自专栏量子位

病人还能生存多久?现在AI能给出更精准的预测

问耕 发自 LZYY 量子位 报道 | 公众号 QbitAI ? 只需要简单查看器官图片,人工智能就可以预测患者的剩余的生命长度,这是澳大利亚阿德莱德大学的最新...

3209
来自专栏京东技术

京东大数据研发部3篇论文同时被国际顶级人工智能协会AAAI收录

京东大数据研发部与中科院、美国西北大学、美国加州大学伯克利分校等相关机构合作,深度参与技术研究,在即将举行的第三十二届美国人工智能顶级国际会议AAAI-2018...

35411

扫码关注云+社区