一幅由瘫痪参与者创作的数字绘画。(来源:B M Dekleva et al J. Neural Eng. 10.1088/1741-2552/ac16b2)
上图为一幅由瘫痪参与者创作的数字绘画。这个位于匹兹堡的研究小组开发了一种新的算法来解读脑机接口的大脑信号,使人不仅能选择和应用不同的颜色(指向和点击),还能描出轮廓和擦除数字(点击和拖动)。
很难想象中风、脊髓损伤、脑瘫或肌萎缩性脊髓侧索硬化症(ALS)患者的日常生活有多大的不便和挑战。
例如,通过允许网络访问社交媒体、游戏和消息,计算机可以显着改善运动障碍患者的生活质量。但在遭受灾难性伤害或疾病之后,我们通常认为理所当然的行为,例如点击或滚动,对于手部功能受损的人来说变得非常棘手。
脑机接口(BCI) 是一种很有前景且日益流行的方法,可用于协助和改善运动瘫痪后的控制。例如,截肢或瘫痪患者多年来借助BCI 通过他们的意念移动计算机光标;但他们一直无法点击并拖动。
在《Journal of Neural Engineering》上发表的一篇论文中,匹兹堡大学(University of Pittsburgh)的一个神经工程师团队描述了一种用于破译 BCI 中大脑信号的新算法。通过将机器学习技术应用于从植入的 BCI 记录的数据,研究人员改善了光标控制和计算机的可访问性,使那些无法实际移动鼠标的人能够使用计算机。
http://mpvideo.qpic.cn/0bf2smaagaaauyaloclquvqvbe6daojqaaya.f10002.mp4?
解码大脑信号
我们的思想和行为源于在庞大的、相互连接的神经元网络中闪烁的一系列动作电位。BCI 测量这些大脑信号,分析它们的某些特征,然后将提取的特征转换为执行所需动作的命令。因此,BCI 绕过了肌肉的正常输出通路,因为疾病或虚弱可能会损害这些通路。
下图展示了校准和评估任务。 (a) 顶部:离散点击校准任务。在每次试验中,光标移动到八个外部目标中的一个,点击然后取消点击(通过口头的“点击”和“释放”)提示,然后返回到中心。底部:示例光标速度和单击状态。 (b) 顶部:持续点击校准任务。在每次试验中,光标移动到八个外部目标中的一个,然后单击、取消单击或在返回中心之前保持不变。在每次试验中随机选择点击和未点击状态之间的转换。底部:示例光标速度和单击状态。请注意,与离散点击校准任务不同,点击和未点击状态都会发生光标平移。
图 (c) 为点击式评估任务示意图。参与者将光标从中心目标移动到外部目标(八个中心向外的目标位置之一;在本例中为右侧目标),单击并释放,然后返回到中心。(d) 单击并拖动评估任务示意图。参与者将光标移动到外部目标(在本例中为右侧目标),单击以抓住它,然后在释放之前将其拖回中心目标(两个目标重叠)。
BCI 不是读心设备,使用者通过他们的大脑信号与 BCI 一起“工作”,这样他们就可以在不使用肌肉的情况下积极参与世界。理解这些大脑信号产生的海量数据集需要训练期,这也有助于我们了解大脑的一些神秘操作。
来自该大学康复神经工程实验室(RNEL)的第一作者Brian Dekleva)使用手术植入的 BCI 来解码两名四肢瘫痪患者的运动意图,目的是改进 BCI 用于计算机访问的功能。
研究人员采用机器学习技术——隐马尔可夫模型,来严格描述构成抓握动作的三个子程序:决定抓握(开始)、抓握(持续)和决定释放(偏移)。
研究人员提出的BCI 与众不同之处在于,它不仅检查当我们想要移动或点击光标时产生的持续神经信号。而且,他们的解码器着眼于状态之间的转换,这比持续响应更可靠。该团队的技术也是“可推广的”,因为它适用于各种需要指向-点击或点击-拖动功能的计算机应用程序。
使用带有新的解码算法的BCI,研究参与者可以顺利地将光标扫过显示器,无论是用于创意输出(如绘画数字艺术作品)还是更常规的动作(如简单地将文件拖到垃圾箱)。
大多数神经工程研究都在寻求对有严重损伤导致残疾的人的临床有用系统。今年5月,RNEL团队发布了一项双向BCI的原理证明——一种不仅能读取数据,还能写入数据的BCI。换句话说,双向BCI使瘫痪患者能够用他们的意念控制机械臂,同时也能感觉到机械臂抓住物体的力度。
作为匹兹堡大学康复神经工程实验室双向 BCI 临床试验的一部分,研究参与者用意念控制机械臂。(来源:UPMC/Pitt Health Sciences)
BCI技术有望通过改善瘫痪患者的自主性和机动性来提高他们的生活质量。Jennifer Collinger是这项最新研究的作者,也是双向脑机接口的首席设计师之一,她希望这些结果可以为临床脑机接口技术的发展提供信息——这是生物技术行业正在快速发展的一个领域。
该团队的最新实验也是在家中使用BCI技术参与远程临床试验的概念验证,其中一名参与者在没有研究人员帮助的情况下在家中进行研究的大部分训练。这是迈向临床转化的关键一步。
论文信息
Brian M Dekleva and Jeffrey M Weiss and Michael L Boninger and Jennifer L Collinger,Generalizable cursor click decoding using grasp-related neural transients.2021,volume = 18, number = 4,IOP,
https://doi.org/10.1088/1741-2552/ac16b2
https://physicsworld.com/a/novel-decoder-helps-people-with-paralysis-click-and-drag-a-computer-cursor-using-just-their-thoughts/
作者:Arjan Singh Puniani
译者:Tina