MIT团队将脑机接口与机器人结合起来

将BCI和机器人系统结合，使用无线、可穿戴的BCI设备控制波士顿动力的四足机器人Spot，并探索其在个人助理场景中的使用。用户通过脑力计算回答一系列问题，每个问题有对应的Spot动作。该系统成功率为83.4%。这是首次将无线、非视觉型BCI系统与Spot在个人助理使用案例中进行集成。未来版本可能具有友好和直观的提示，类似于普通导盲犬。该项目旨在为由无线和可穿戴的BCI系统提供动力的现代个人助理机器人的未来发展铺平道路。

机器人行业正在崛起，机器人在许多环境中都扮演着积极的角色，但专门为用户需求而设计的个人助理移动机器人，如帮忙拿东西、浇花、开门等，实际上几乎不存在。此外，大多数控制模式几乎完全使用语音或触摸界面，不能使用这些模式操纵机器人的用户被给予使用BCI控制所需的选项。这些系统更常被称为脑-计算机接口(BCIs)。在许多情况下，患有“注视症候群(LIS)”或“肌萎缩侧索硬化症(ALS)”等疾病的用户从使用BCI控制机器人中受益最大。然而，大多数为这些用户设计的系统包括轮椅或外骨骼控制。此外，要控制轮椅，在大多数情况下，用户仍需要依靠视觉刺激的注视。此外，在大多数情况下，这些BCI系统与承载电极的基于凝胶的帽子相结合，或者是可植入解决方案，因此在现实世界中很少尝试交互，或者由于手术成本而难以扩展。

本文介绍了一个基于可穿戴、无线BCI控制的辅助机器人概念验证系统。这个系统使用非视觉的思维任务进行控制，能够帮助用户拿物品或打开门等操作。为了实现移动、无线和自主的功能，作者选择了一副带有EEG/EOG电极的无线眼镜，并将其嵌入到眼镜的框架中。研究人员还选择了波士顿动力公司的移动机器人Spot作为原型。用户通过iPhone回答一系列YES/NO问题，同时戴着眼镜，每个问题都有一个预设的Spot动作集。该系统的总体准确率达到了83.4%。尽管Spot的价格较高，但它是目前唯一能够执行重型任务并在以人为中心的环境中执行其他任务的敏捷机器人。这是第一次将无线、非视觉型BCI系统与Spot在个人助理使用案例中进行集成。

现有技术

在机器人应用中使用的BCI范式

在过去的20年里，人们积极探索利用非侵入性脑电图（EEG）控制不同机器人和神经假肢设备的可能性。至今，EEG仍然是最实用和适用的非侵入性BCI方法之一。BCI系统可以使用内源（自发性）或外源（诱发性）信号进行控制。在外源BCI中，当一个人专注于外部刺激（如视觉或听觉提示）时，会出现诱发信号。这种方法的优点包括训练简化以及高达60位/分钟的比特率。然而，用户需要始终关注刺激，这限制了其在真实生活条件下的适用性。并且用户可能很快感到疲劳。然而，运动想象被认为是一项复杂的、认知要求高的任务，因此人们正在积极探索其他用于BCI控制的脑力策略，如想象音乐、音素想象、视觉想象、心理旋转、心理计算和词汇联想。

在研究中，研究人员探索了心理计算-一种需要特定问题的心理工作，但不像外源任务那样需要刺激的心理任务，因此有时被称为“脑筋急转弯”。对于这个任务，易用性评估显示随着训练次数的增加，负担似乎在减少，这表明训练可能会减轻这个任务的负担，不像运动想象等策略。据研究人员所知，研究人员还没有找到涉及无视觉训练和使用“脑筋急转弯”策略进行控制任务的脑-机器人系统（见图1）。因此，研究人员认为探索其他非视觉范式对于脑控机器人的控制可能会有益，因为设备本身的可穿戴性增强（无需将电极放置在前运动皮层和运动皮层上，只需要一个头带设计即可）；“脑筋急转弯”任务通常不需要任何视觉训练，并且对参与者的认知要求较低。

图1. 2023年脑机接口和机器人技术的最新进展概述。包括(A) 和(F)——使用MI BCI范式控制肢体和外骨骼的植入物；(E)——至今最新的论文，采用混合MI + SSVEP + EMG系统；(B)、(D)和(G)都使用相同的帽子，用于不同的机器人应用案例以及MI BCI范式；(C)展示了P300界面；最后，(H)是研究人员所知道的唯一一篇关于四足机器人并采用SSVEP BCI范式的论文。所有接受过上述系统训练的用户还需要进行基于视觉的训练方案。该图还说明了佩戴BCI设备的可携带性和舒适度方面的挑战，而研究人员在本文中提出的解决方案(I)是唯一一个真正的可穿戴形式，安装时间不到2分钟。

脑机接口（BCI）实现的机器人应用

通常使用BCI的机器人应用最常见的是为需要帮助的人群提供服务，其中包括轮椅和外骨骼等。图1展示了机器人和BCI技术最新进展的概述。研究人员还参考了Zhang和Wang的综合论文，对由运动想象BCI控制的机器人进行了全面的评论，包括移动机器人和机械臂。

智能轮椅通常具有不同的功能，从辅助到康复都有。脑控机器人系统可以通过使这些功能对LIS、ALS等人群可访问来进一步扩展它们的用途。一些研究者提出了基于64通道脑电图（EEG）的BCI，结合左手想象运动、休息和词汇联想等脑力任务，用于驱动轮椅沿预定路线行驶。另一些研究者使用混合型BCI系统，结合运动想象、眨眼和P300，以控制轮椅前后移动。为了适应真实世界的环境，一些实验室开始使用少量电极并将信号处理放在移动应用程序上的BCI系统，以提供相同的轮椅控制功能但在移动环境中使用。同时，还有研究致力于使用大脑信号控制外骨骼，以帮助康复脊髓损伤的人。另外，还有一些研究关注脑控人形机器人作为LIS患者的潜在解决方案。现在，研究人员介绍研究人员的系统架构，研究人员将其称为Ddog：使用基于心算任务的移动BCI解决方案控制Spot机器人。

Ddog的组成结构

该系统的目标是设计一款自主应用程序，使用户能够基于BCI的输入控制Spot机器人，并通过应用程序使用语音向用户和他们的护理者提供反馈。该系统旨在完全离线或完全在线工作。在线版本具有更先进的机器学习（ML）模型，并且经过更好的微调，同时保留本地设备的电池。该系统旨在运行生产，同时允许对大部分组件进行快速迭代。系统概述可见图2和图3。

图2. Ddog系统的架构。

图3. 全系统总览

在客户端方面，用户通过移动应用程序与脑-计算机界面（BCI）设备（在本文中为AttentivU设备，将在本文第4节中深入介绍）进行交互，该应用程序使用蓝牙低功耗（BLE）协议与设备通信。用户的移动设备（手机B）与另一部控制Spot机器人的移动电话进行通信，以实现代理、操作、导航和最终的用户辅助。移动电话之间的通信可以通过Wi-Fi或长期演进（LTE）协议进行。在Phone D上建立了一个Wi-Fi热点，Ddog通过Wi-Fi连接到它。Phone B也是如此 - 它通过相同的Wi-Fi连接到Phone D。

图4. Cloud B和Cloud D的视觉表现。

图5. Boston Dynamics的Spot机器人的臂和夹持器。

图6. 一个戴着AttentivU眼镜的人即将执行一个心理任务，进行计算，以便将Spot从“客厅”空间发送到“厨房”空间。

同时，该系统有可能在线运行系统，独立于云中运行的模型。敏感生物数据专用的人工智能（AI）模型与用于机器人和代理系统的AI模型分别处理。

图7. 试次运行的顺序

展望

总体而言，研究人员的研究应被视为一个概念验证，并且所有的发现都应被视为初步的，因为研究人员只有两个健康受试者；因此，任何统计分析都是不可能的。参与研究人员研究的受试者指出，他们在控制机器人和使用BCI系统时都感到高度参与。研究人员认为应该进行更多的研究，包括健康对照组和LIS/ALS患者。还应进一步评估所使用的BCI范式，尽管其他研究使用心算方法并未出现性能下降或习惯化导致的下降，但个性化模型和其他“脑筋急转弯”范式，如词语联想，值得进一步探索。