首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Nature科学报告:根据大脑思维意图来生成对应匹配的图像

Nature科学报告:根据大脑思维意图来生成对应匹配的图像

作者头像
脑机接口社区
发布2020-09-24 09:58:54
5030
发布2020-09-24 09:58:54
举报
文章被收录于专栏:脑机接口脑机接口

导读

脑机接口可以进行主动通信并执行一组预定义的命令,例如键入字母或移动光标。但是,到目前为止,他们还无法根据大脑信号推断出更复杂的意图或适应更复杂的输出。在这里,研究人员介绍了神经适应性生成模型,该模型使用参与者的脑部信号作为反馈来适应无限的生成模型,并生成与参与者意图相符的新信息。研究人员报告了一个实验,该实验验证了生成人脸图像的范例。在实验中,参与者被要求特别关注感知类别,比如老年人或年轻人,同时给他们看电脑生成的、具有不同视觉特征的逼真面孔。他们的EEG信号与图像相关联,然后作为反馈信号来更新用户的意图模型,并使用生成的对抗网络从中生成新图像。对参与者进行的双盲跟踪评估显示,神经自适应建模可以被用于生成匹配感知类别特征的图像。该方法演示了计算机和人类之间基于大脑的创造性增强,可以产生与人类操作员的感知类别相匹配的新信息。

赫尔辛基大学(University of Helsinki)研究人员最近发表了利用参与者的脑部信号作为反馈来适应无限的生成模型,并生成与参与者意图相符的新信息。

神经自适应生成模型概述

如下图1所示,神经自适应生成模型通过测试计算机生成的对算子的假设来建立其算子的模型。当假设被提交给操作者时,与模型(假设)产生的采样输出相关联的大脑活动被用来更新操作者意图的模型。基本假设是,在反复观察用户对生成的样本的反应后,意图模型将收敛到与操作者的心理目标相匹配的状态。由于该模型是生成模型,因此该方法可以生成与操作员意图相匹配的心理目标输出。

神经自适应生成模型基于三个原则:

1.生成:生成模型产生感知上逼真且有意义的数字信息,用作感官输入。

2.感知: 操作员感知并自然响应计算机生成的感知输入。

3.适应: 任务相关性是从大脑反应中推断出来的,它会更新潜在生成模型中的估计位置。

在使用神经自适应生成模型时,操作人员正在对一组生成的假设执行一项识别任务,比如“关注你看到的金发碧眼的人”。在遇到目标(金发的人)时引起的大脑活动不同于与非目标相关的大脑活动。这种差异可以从神经反应中获悉到,并相应地用于更新模型。请注意,模型不需要拥有用户正在执行的任务的信息。它仅基于相关性的差异和生成模型所代表的相应方差才起作用。

图1. 神经自适应生成模型概述

上图为神经自适应生成模型概述。生成:模型G基于潜变量zi生成数字信息。感知:人类操作员对由计算系统以zi表示的生成信息做出自然反应。适应:从操作者的大脑信号中推断出信息的相关性;相关性引导生成模型,生成新的数字信息G(z^n),它与操作者的感知类别相匹配。n是获得诱发大脑信号的数量,这里n=3。

图2.人脸生成实验中的示例数据

上图为人脸生成实验中的示例数据。感知:在“不微笑”任务中向参与者展示的一组图像;在这里,与任务相关的图像用实心红色圆圈标记;适应:来自Pz电极的平均ERP(顶部),置信区间为95%,以及刺激后间隔250-600ms(底部)的相关和不相关诱发反应的差异的地形图;对所有任务和参与者均取平均值;分类器利用相关类和无关类之间的差异来适应生成模型;生成:在显示n = 5、10、15、50、100、200和242个(全部)图像后,为参与者的“不微笑”任务生成的心理目标可视化效果G(z ^ n);最终图像与“无微笑”行第二列中的图3中的图像匹配。

实验评估

为了评估生成的图像,我们要求参与者执行两个验证任务。在第一个验证任务中,向参与者显示了来自negative模型,positive模型的图像以及针对每个任务的20张随机生成的控制图像,并要求他们选择与感知类别匹配的每张图像,从而根据任务选择金发,黑发,男性,女性,年轻,老年,微笑或不微笑(有关验证测试所用系统的屏幕截图,请参见补充图S3)。如图3(右上图)所示,通过双盲程序验证生成的图像与任务指定的意图相匹配。positive模型的图像(只有positive预测作为反馈)平均被选择了90%,negative 2.5%,随机42.3%的试验。对positive模型的二项式检验表明,这种情况在所有任务中都得到了推广,对于不微笑的positive模型,其性能最低(76.67%,p = 0.003, Bonferroni校正后p = 0.021)。

图3

图3.左:为16个参与者和所有任务生成的图像;右上方:根据任务标准选择的结果图像的百分比和标准误差;右下:具有任务相关特征的结果图像的平均评分和标准误差;生成的图像标签:从负预测生成的NEG图像,使用相同过程但具有随机反馈生成的RND图像,从正反馈生成的POS图像。根据参与者和任务的不同,作为反馈的正分类图像的数量和相应的潜在潜矢量在5到60之间变化。

总结

研究人员介绍了神经自适应生成模型作为一种通过使神经网络模型适应大脑信号来生成与感知类别匹配的图像的方法。

据研究人员表示,这是第一次使用神经活动来适应生成式计算机模型,并产生符合人类操作员意图的新信息的研究。先前的神经自适应脑-机接口的尝试已经利用了计算机系统设计目标导向控制的优势,这种控制可以松散地依赖于对感知的自然反应。神经自适应BCIs虽然令人印象深刻,但它只成功地完成了一些受到严格限制的任务,比如对光标移动的二维控制。在这之前还未发现BCI被用来生成复杂的数字信息,比如符合人类预期的图像。

研究人员认为,神经适应性生成建模方法提出了一种新的范式,该范式可能会强烈影响实验心理学和认知神经科学。神经自适应建模方法的生成功能不仅可以促进计算机与人之间的创造性交互作用的增强,而且还为神经生理学研究如何在人脑中表达感知信息开辟了新途径。

参考信息

Neuroadaptive modelling for generating images matching perceptual categories

文章来源于网络,仅用于学术交流,不用于商业行为,若有侵权及疑问,请后台留言!

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2020-09-22,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 脑机接口社区 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档