专栏首页ATYUN订阅号这个“读心术”的算法可以解读你大脑中的图像

这个“读心术”的算法可以解读你大脑中的图像

想象一下,在一堆数码照片中快速搜索你想要的人或图像。或者在不拿笔的情况下,画出你喜欢的人的样子。一台能读懂你的大脑的计算机会在日常生活中提供很多帮助。现在,科学家们已经创造出了第一个这样的算法,能够解读并精确地复制人类看到或想象的图像。但是,也许要过几十年,这项技术才会被应用到实际应用中。

一种新的算法使用大脑活动来创建被观测的照片(下面的两行)的重建图(第一行)

使用算法来解读心理图像并不是项新技术。自2011年以来,研究人员通过将大脑活动与在观看图像时记录的活动相匹配,重新创建了电影片段、照片甚至梦境图像。但是,这些方法都有其局限性:有些只能处理像人脸形状这样的窄域,而另一些则必须从预先设定的图像,像是“人”或“鸟”这样的类别中进行选择。

日本京都大学的四位科学家正在将这一技术变得越来越接近现实。去年12月下旬,Guohua Shen, Tomoyasu Horikawa, Kei Majima和Yukiyasu Kamitani公布了他们最新的研究成果,他们利用人工智能在一个叫做BioRxiv的科学平台来解读想法。

机器学习以前被用于研究脑部扫描(核磁共振成像),并在提及简单的二进制图像时生成人类的想法,二进制图像可以是黑白字母或简单的地理形状(如下图所示)。

但是这些科学家们开发了利用深度神经网络(人工智能)“解读”思想的新技术。这项新技术让科学家们可以解读更复杂的“等级”图像,这些图像有多层的颜色和结构,比如鸟的图片,或者戴着牛仔帽的人。

“我们一直在研究一种方法,通过观察一个人的大脑活动,来重建或重新创造一个人看到的图像,”Kamitani说道。“我们之前的方法是假设图像由像素或简单的形状组成。但众所周知,我们的大脑是通过分层提取不同层次的特征或组件来处理视觉信息的。”

新的人工智能研究让计算机能够探测到物体,而不仅仅是二进制的像素。Kamitani说:“这些神经网络或人工智能模型可以作为人类大脑的层次结构的代表。”

在这项研究中,在10个月的时间里,三个实验对象被展示成了自然的图像(如鸟或人的照片),人造的几何形状,以及按照排序的字母,展示的时间长短不一。

他们绘制了分辨率为2毫米的视觉处理区域,三个人分别看了超过1000幅图像。他们的目标是仅仅考虑这些活动的反应,最终让计算机绘制出几乎相同的活动图像。

但是,他们并没有展示他们的实验对象,而是为大脑构建了一个软件替身,一个有几层简单的处理元素的深度神经网络(DNN)。

通过使用一个“解码器”,研究人员在深度神经网络中创造出了大脑对图像的反应。从那时起,他们不再需要真正的功能核磁共振成像测量。

在猜测某人在看什么时,深度神经网络作为一个模板,功能核磁共振成像数据被放在一边。然后,系统尝试绘制一幅图片,它将触发深度神经网络以与该模板匹配的方式进行响应。通过反复试验,直到它能描绘出想要的图像。为了更接近理想的图像,系统计算了深度神经网络活动和模板化的深度神经网络活动之间的区别。这些计算使它能够以这种方式使像素越来越清晰,直到它接近它的理想图像。

为了使最终产生的图像结果更加准确,研究人员使用了一个“深度生成器网络”(DGN),这个算法在这个例子中被预先训练以生成基于其输入的真实图像。DGN对这些画作进行了改良,使其看起来更自然。研究人员在上个月底的一篇论文中称,一旦这一要素被添加到训练中,人类观察者在99%的时间就能分辨出两张照片中哪张图像是重建的。

接下来,科学家们仅仅通过想象图像来试图解读人们的思维。这一次,他们扫描了三个受试者的大脑,要求他们回忆之前展示过的图像,包括鱼、飞机和简单的彩色图形。该方法的效果不是很好,生成器在83%的时间内创建了一个可识别的图像。

下面的流程图打破了可视化是如何被“解读”的科学。

下面的两张图表显示了计算机为那些在查看自然图像和字母图像时的活动被记录的对象所重建的结果。

Kamitani说:“与以前的方法不同,我们可以通过想象一些记忆的图像来重建一个人的视觉图像。”正如下图所示,当解读大脑信号时,人工智能系统在重建时变得更加困难。这是因为一个人很难准确地记住他所看到的一只猎豹或一条鱼的形象。

Kamitani说:“在这种情况下,大脑的激活就变得更少了。”

随着该技术的准确性不断提高,潜在的应用程序是令人难以置信的。这种可视化技术可以让你通过想象一些东西来画画或者创作艺术;你的梦想可以通过计算机来实现;此外,精神病患者的幻觉可以变得可视化,方便医生为他们进行治疗;Kamitani还提到,大脑机器界面可能有一天会允许人类与图像或想法进行交流。

本文分享自微信公众号 - ATYUN订阅号(atyun_com),作者:Yining

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-01-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【科技】豹变猫?实时场景转变?NVIDIA多模式图像转换技术都能实现

    改变美洲豹身上的斑点似乎是个很有趣的想法,而这个想法也并非天方夜谭。通过NVIDIA新的加速GPU深度学习技术,无论是图片还是视频,甚至是实体美洲豹,都能使其变...

    AiTechYun
  • AI构图领域的新进展

    人工智能的艺术构图工具正在迅速更新换代。近日,麻省理工学院-IBM沃森人工智能实验室(MIT-IBM Watson AI Lab)的科学家们详细介绍了一种可以让...

    AiTechYun
  • 英特尔最新研究:从热图像中进行人脸识别

    热图像是否足够详细,可以使AI模型识别人的面部特征?这就是英特尔研究人员在最近的第12届国际人类系统交互会议上提出的一个问题。他们研究了在可见光数据上训练的模型...

    AiTechYun
  • 基础 | 如何通过DCGAN实现动漫人物图像的自动生成?

    基于生成对抗网络(GAN)的动漫人物生成近年来兴起的动漫产业新技术。传统的GAN模型利用反向传播算法,通过生成器和判别器动态对抗,得到一个目标生成模型。由于训练...

    公众号机器学习与生成对抗网络
  • JPEG合成图像检测

    随着计算机和图像处理技术的发展,采用深度学习技术(例如deepfake)合成的图片和视频已经能够达到以假乱真的程度。经过合成或者篡改的图像在网络上传播会对公众产...

    绿盟科技研究通讯
  • 从神经科学到计算机视觉:人类与计算机视觉五十年回顾

    【新智元导读】本文简单的介绍了神经网络近50年的发展历程,从1968年的Hubel和Wiesel开展的猫实验,一直到李飞飞教授等人的成果。从本质上讲解了人工神经...

    新智元
  • 【CVPR Oral】TensorFlow实现StarGAN代码全部开源,1天训练完

    新智元
  • 塔荐 | 从神经科学到计算机视觉:人类与计算机视觉五十年回顾

    前 言 本文简单的介绍了神经网络近50年的发展历程,从1968年的Hubel和Wiesel开展的猫实验,一直到李飞飞教授等人的成果。从本质上讲解了人工神经网络...

    灯塔大数据
  • 苹果机器学习期刊首文:提升合成图像的真实性

    选自Apple 参与:机器之心编辑部 从 CoreML 到自动驾驶汽车,苹果的新技术探索在形成产品之前通常都会处于接近保密的状态,直到去年 12 月底,他们才以...

    机器之心
  • 四个任务就要四个模型?现在单个神经网络模型就够了!

    AI 科技评论按:顾名思义,「表示」(representation)就是指在网络中对信息进行编码的方式。为了让大家充分理解「表示」,本文作者尝试构建一个能同时完...

    AI研习社

扫码关注云+社区

领取腾讯云代金券