前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >这款软件可以将大脑活动实时呈现在网页上

这款软件可以将大脑活动实时呈现在网页上

作者头像
脑机接口社区
发布2023-02-14 09:45:09
7350
发布2023-02-14 09:45:09
举报
文章被收录于专栏:脑机接口脑机接口

处理过脑电数据的朋友肯定都听说过BCI2000,BCI2000是用于脑机接口(BCI)研究的通用软件系统。BCI2000包括软件工具,可以获取和处理数据,呈现刺激和反馈,并管理与机械臂等外部设备的交互。BCI2000是一个实时系统,可以将脑电图和其他信号与各种生物信号和输入设备(如鼠标或眼球追踪器)同步。它有几个模块来管理常用文件格式的数据导入和导出。BCI2000可以在大多数Windows系统上运行,源代码可以在大多数Windows机器上编译。

本文开发了一个名为BCI2000Web的服务器和过滤器模块,可以实现浏览器和BCI2000发行版之间的实时直接通信,促进许多新颖的应用程序。 本文还提出了一个JavaScript模块bci2k.js,允许Web开发人员以易于使用和直观的方式使用此界面创建范式和可视化。

网页浏览器技术的广泛采用和进步使其成为BCI平台的有吸引力的目标。我们在浏览器上可以很轻易地获取资源,如带有应用程序编程接口(API)的图形硬件和加速测量/系统传感器,这些传感器基于易于使用且功能强大且性能的JavaScript软件包。网络支持的服务还实现公开可用的API,允许开发人员调用远程计算资源,如亚马逊网络服务(AWS),或从维基百科和谷歌图像搜索等庞大的索引知识数据库中查询信息。此外,还开发了许多支持用户界面可视化演示和数据可视化的库。

现代网络浏览器中现成的许多技术可用于开发当代BCI——例如,通过WebSpeech API使用语音转录实时标记数据的能力,或通过WebVR和D3.js使用虚拟现实耳机以3D形式呈现刺激的能力。Three.js是一个尽可能简化在网页端获取3D 内容的库。D3.js经常会和WebGL混淆,D3.js其实是使用WebGL来绘制三维效果的。 WebGL是一个只能画点、线和三角形的非常底层的系统,想要用WebGL来做一些实用的东西通常需要大量的代码, 这就是D3.js的用武之地。它帮我们处理了像场景、灯光、阴影、材质、贴图、空间运算、几乎所有你需要自己通过WebGL来实现的东西。

D3.js可以将我们的数据可视化,甚至使用WebAudio API进行超声化,可以帮助我们实时理解数据。现有的BCI软件套件通常提供一定数量的进程间通信,通常通过用户数据报协议user datagram protocol (UDP)或共享内存公开。然而,出于安全考虑,浏览器通常不允许Web应用程序原生访问UDP;此外,BCI2000的AppConnector接口等现有通信方案不能很好地扩展到高数据量。BCI2000现有的进程间通信工具在设计时考虑到了控制信号的传输,为了简单起见,使用ASCII而不是二进制来通信信号,代价是将数据速率膨胀到8倍-这种方法是成功的,直到需要传输原始和处理过的ECoG数据流。现代浏览器实现了一种建立在TCP之上的协议,称为WebSocket (Fette, 2011),它允许HTTP客户端将现有连接升级为通用的实时双向二进制/ASCII通信接口。WebSockets非常适合于将原始大脑信号、提取的神经特征和处理的控制信号从BCI软件套件传输到支持浏览器的设备上的web应用程序,以及将辅助传感器信息从web应用程序传输回本机软件套件,所有这些都是实时的。在本文中,我们将上述接口的实现作为BCI2000的插件,我们称之为BCI2000Web。

本文将以呈现癫痫患者发病原理来展示BCI2000Web的使用。

运动性语言中枢,又叫说话中枢,是语言中枢的一部分。运动性语言中枢位于大脑中的44及45区,紧靠中央前回下部,额下回后三分之一处,又称布若卡氏区。如果此区受损,会产生表达性失语症。能分析综合与语言有关肌肉性刺激。此处受损,病人与发音有关的肌肉虽未瘫痪,却丧失了说话的能力,临床上称运动性失语症(表达性失语症)。

癫痫症是一种影响大脑并导致频繁癫痫发作的常见疾病。癫痫发作是大脑中电流活动的爆发,会暂时影响大脑的工作方式。它们会引起多种症状。癫痫可以发生在任何年龄,但通常发生在儿童时期或60岁以上的人。

癫痫会以不同的方式影响人们,这取决于大脑的哪个部分。可能的症状包括:

•无法控制的抽搐和颤抖,称为“发作”

•失去意识,茫然地盯着太空

•变得僵硬

•奇怪的感觉,比如肚子里“隆起”的感觉,不寻常的气味或味道,胳膊或腿上的刺痛感

•崩溃

•有时你可能会昏过去,不记得发生了什么。

雄辩皮层的功能映射是具有巨大科学和临床影响的目标应用。大约三分之一的癫痫患者癫痫发作对药物治疗有抗药性。在其中许多患者中,癫痫发作来自局灶性大脑区域,如果可以安全地切除该区域,就可以实现癫痫发作控制。当非侵入性测试无法可靠地识别癫痫发作区与正常神经功能所需的大脑区域不同时,临床医生可以选择在大脑深处(立体-EEG)或其表面(电皮质图或ECoG)手术植入电极。这些颅内电极可以植入一周或更长时间,以便可靠地定位癫痫发作的发作。这些电极还有助于识别雄辩的皮层,即与言语和语言以及感知、运动和其他重要大脑功能相关的区域。一种称为电皮质刺激映射(ESM)的技术通常用于映射这些区域。在ESM期间,在植入的电极对之间传递电流脉冲系统,以便在患者执行简单的语言或运动任务时暂时禁用一小块皮层。这种暂时性病变引起的行为变化表明,大脑的刺激区域是完成任务所必需的。但是这种测试程序对患者来说既费时又很不舒服,且出院后依旧有可能会癫痫发作。

ESM的局限性激发了一种互补的映射技术,该技术基于对行为任务期间ECoG或立体EEG被动记录的功率谱(特别是在高频)中与任务相关的变化的估计。这种映射技术,以下简称ECoG功能映射,生成与任务相关的皮层激活地图,其中可能包括任务招募但对任务性能不重要的皮层。相比之下,ESM使用皮层功能的暂时电生理破坏来模拟组织切除的急性行为影响,并被认为特定于对任务表现至关重要的区域。尽管如此,一些临床研究表明,ECoG功能映射和ESM之间存在良好的对应关系。此外,几项研究表明,ECoG功能映射可用于预测切除后的神经损伤,在某些情况下,它预测了ESM没有预测的损伤。由于这些原因,一些癫痫手术中心已经开始使用ECoG功能映射作为ESM的补充,有时提供皮层功能的初步地图,以指导ESM的使用。然而,由于缺乏技术资源,特别是可用于临床脑电图监测系统的软件,大多数癫痫中心尚未采用ECoG功能映射。近年来开发了几个ECoG功能映射包。例如,SIGFRIED在校准块中获得了神经活动的大量基线分布,然后通过平均行为在时间块中引发的神经活动来快速积累皮层激活的估计值。一种名为cortiQ的商业产品能够执行这种基于块的映射范式,这使得训练有素的临床专业人员能够进行被动ECoG映射。(SIGFRIED和cortiQ都是使用BCI2000框架构建的)

BCI2000环境是一个通用计算框架,通常用于构建BCI,基于四个二进制可执行文件:信号源模块,从受支持的放大器获取生理数据;信号处理模块,提取神经特征并将这些特征转换为控制信号;应用程序模块,对这些控制信号做出反应并向主体提供反馈;以及运算符模块,负责协调系统所有三个功能子模块的行为。信号从源模块传播到处理模块到应用程序模块,通过基于网络的协议(在旧版本的BCI2000中)或共享内存接口(在最近的迭代中)促进互联。每个模块都由一系列信号“过滤器”组成,这些过滤器接受传入的信号(作为逐个通道数组),并输出一个具有不同维度的派生信号。内置的运算符脚本语言允许在实验会话中自动设置和配置过滤器,操作员模块中存在Telnet接口,能够从BCI2000外部接受运算符脚本语言的文本命令。

笔者认为,仔细阅读这篇论文之后,其实不难想象出一种系统架构,其中用户的神经数据被发送到与服务器后端实时通信的浏览器应用程序,允许基于云的服务应用复杂的机器学习技术进行分析处理,更进一步,人们可以开发一个基于浏览器的应用程序,将多个用户的神经数据传输给彼此的客户,从而促进基于大脑的通信。由于专注于前端用户交互,许多软件包都是用JavaScript编写的,这些软件包支持交互式应用程序和可视化的快速实现。公共JavaScript API允许丰富的BCI交互,实验范式可以利用谷歌图像搜索等网络资源,在运行时提供各种量身定制的刺激。跨设备兼容性是将浏览器用作可视化和刺激演示平台的另一个优势。任何支持浏览器的设备(智能手机、平板电脑、PC甚至游戏机)都可以用于呈现刺激或可视化输出。由于这种“写完代码就能运行”的开发过程,临床医生可以使用WebFM从患者房间外的智能手机上实时查看映射结果,而ECoG功能映射由技术人员运行。

参考:

BCI2000Web and WebFM: Browser-Based Tools for Brain Computer Interfaces and Functional Brain Mapping


仅用于学术分享,若侵权请留言,即时删侵!

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2023-01-07,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 脑机接口社区 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
图像搜索
图像搜索(Image Search)基于腾讯云的图像解决方案,集成了图像检索、超细粒度元素挖掘和图像匹配等技术,通过以图搜图的方式在用户自建图片库中快速检索出与输入图片相同或相似的图片集合,可应用于图片版权保护、电商侵权审核、相似素材查询、同款商品搜索与推荐等场景。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档