这个“读心术”的算法可以解读你大脑中的图像

想象一下,在一堆数码照片中快速搜索你想要的人或图像。或者在不拿笔的情况下,画出你喜欢的人的样子。一台能读懂你的大脑的计算机会在日常生活中提供很多帮助。现在,科学家们已经创造出了第一个这样的算法,能够解读并精确地复制人类看到或想象的图像。但是,也许要过几十年,这项技术才会被应用到实际应用中。

一种新的算法使用大脑活动来创建被观测的照片(下面的两行)的重建图(第一行)

使用算法来解读心理图像并不是项新技术。自2011年以来,研究人员通过将大脑活动与在观看图像时记录的活动相匹配,重新创建了电影片段、照片甚至梦境图像。但是,这些方法都有其局限性:有些只能处理像人脸形状这样的窄域,而另一些则必须从预先设定的图像,像是“人”或“鸟”这样的类别中进行选择。

日本京都大学的四位科学家正在将这一技术变得越来越接近现实。去年12月下旬,Guohua Shen, Tomoyasu Horikawa, Kei Majima和Yukiyasu Kamitani公布了他们最新的研究成果,他们利用人工智能在一个叫做BioRxiv的科学平台来解读想法。

机器学习以前被用于研究脑部扫描(核磁共振成像),并在提及简单的二进制图像时生成人类的想法,二进制图像可以是黑白字母或简单的地理形状(如下图所示)。

但是这些科学家们开发了利用深度神经网络(人工智能)“解读”思想的新技术。这项新技术让科学家们可以解读更复杂的“等级”图像,这些图像有多层的颜色和结构,比如鸟的图片,或者戴着牛仔帽的人。

“我们一直在研究一种方法,通过观察一个人的大脑活动,来重建或重新创造一个人看到的图像,”Kamitani说道。“我们之前的方法是假设图像由像素或简单的形状组成。但众所周知,我们的大脑是通过分层提取不同层次的特征或组件来处理视觉信息的。”

新的人工智能研究让计算机能够探测到物体,而不仅仅是二进制的像素。Kamitani说:“这些神经网络或人工智能模型可以作为人类大脑的层次结构的代表。”

在这项研究中,在10个月的时间里,三个实验对象被展示成了自然的图像(如鸟或人的照片),人造的几何形状,以及按照排序的字母,展示的时间长短不一。

他们绘制了分辨率为2毫米的视觉处理区域,三个人分别看了超过1000幅图像。他们的目标是仅仅考虑这些活动的反应,最终让计算机绘制出几乎相同的活动图像。

但是,他们并没有展示他们的实验对象,而是为大脑构建了一个软件替身,一个有几层简单的处理元素的深度神经网络(DNN)。

通过使用一个“解码器”,研究人员在深度神经网络中创造出了大脑对图像的反应。从那时起,他们不再需要真正的功能核磁共振成像测量。

在猜测某人在看什么时,深度神经网络作为一个模板,功能核磁共振成像数据被放在一边。然后,系统尝试绘制一幅图片,它将触发深度神经网络以与该模板匹配的方式进行响应。通过反复试验,直到它能描绘出想要的图像。为了更接近理想的图像,系统计算了深度神经网络活动和模板化的深度神经网络活动之间的区别。这些计算使它能够以这种方式使像素越来越清晰,直到它接近它的理想图像。

为了使最终产生的图像结果更加准确,研究人员使用了一个“深度生成器网络”(DGN),这个算法在这个例子中被预先训练以生成基于其输入的真实图像。DGN对这些画作进行了改良,使其看起来更自然。研究人员在上个月底的一篇论文中称,一旦这一要素被添加到训练中,人类观察者在99%的时间就能分辨出两张照片中哪张图像是重建的。

接下来,科学家们仅仅通过想象图像来试图解读人们的思维。这一次,他们扫描了三个受试者的大脑,要求他们回忆之前展示过的图像,包括鱼、飞机和简单的彩色图形。该方法的效果不是很好,生成器在83%的时间内创建了一个可识别的图像。

下面的流程图打破了可视化是如何被“解读”的科学。

下面的两张图表显示了计算机为那些在查看自然图像和字母图像时的活动被记录的对象所重建的结果。

Kamitani说:“与以前的方法不同,我们可以通过想象一些记忆的图像来重建一个人的视觉图像。”正如下图所示,当解读大脑信号时,人工智能系统在重建时变得更加困难。这是因为一个人很难准确地记住他所看到的一只猎豹或一条鱼的形象。

Kamitani说:“在这种情况下,大脑的激活就变得更少了。”

随着该技术的准确性不断提高,潜在的应用程序是令人难以置信的。这种可视化技术可以让你通过想象一些东西来画画或者创作艺术;你的梦想可以通过计算机来实现;此外,精神病患者的幻觉可以变得可视化,方便医生为他们进行治疗;Kamitani还提到,大脑机器界面可能有一天会允许人类与图像或想法进行交流。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2018-01-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

独家揭秘| 数据挖掘、机器学习和深度学习之间的区别

导读:机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自...

38250
来自专栏钱塘大数据

16大类31种好看的可视化图表,图表控们快收藏!

在日常工作中,很多人都会面对一堆数据,却不知道如何更直观地展示它们,或者不知道用什么样的图表能达到更好的展示效果!花了一些时间整理了工作中经常用到的数据图表,希...

38940
来自专栏新智元

重磅 | 谷歌开源大规模语言建模库,10亿+数据,探索 RNN 极限

【新智元导读】谷歌今天宣布开源大规模语言建模模型库,这项名为“探索RNN极限”的研究今年 2 月发表时就引发激论,如今姗姗来迟的开源更加引人瞩目。研究测试取得了...

29540
来自专栏人工智能头条

2017年深度学习十大趋势预测

15320
来自专栏CDA数据分析师

Kaggle大神经验分享丨如何用15个月冲到排行榜的首位

在最新的Kaggle用户排行榜上,排名第一位的ID是Bestfitting,他本人叫Shubin Dai。Shubin Dai在两年前加入Kaggle,目前生活...

16330
来自专栏腾讯技术工程官方号的专栏

艺术滤镜视频来了!腾讯人工智能首创深度网络学习视频

腾讯18周年庆当天,腾讯人工智能实验室(AI Lab)首次发布深度网络学习视频案例——《青春无畏,冲动不止》庆生视频的艺术滤镜版本 今年风靡业界的Prisma以...

22970

如何研究机器学习算法

您需要了解哪些算法在那里,以及如何有效地使用它们。

32860
来自专栏钱塘大数据

16大类31种好看的可视化图表,图表控们快收藏!

在日常工作中,很多人都会面对一堆数据,却不知道如何更直观地展示它们,或者不知道用什么样的图表能达到更好的展示效果!花了一些时间整理了工作中经常用到的数据图表,希...

42570
来自专栏企鹅号快讯

推荐系统机器学习算法概览

来源:Medium 编译:weakish 编者按:Statsbot数据科学家Daniil Korbut简明扼要地介绍了用于推荐系统的主流机器学习算法:协同过滤、...

47180
来自专栏机器学习算法与Python学习

值得收藏的27个机器学习的小抄

15840

扫码关注云+社区

领取腾讯云代金券