上海交大研究人员使用非侵入性脑机接口和计算机视觉引导对机器人手臂进行共享控制

对于某些严重残疾患者来说，使用脑机接口(BCI)控制机械臂进行伸手和抓握活动是最常见的应用之一，对于基于脑电图(EEG)的非侵入性BCI而言，这具有很大的挑战性。

在该项研究中，来自上海交通大学的研究人员提出采用基于运动想象(基于MI)BCI控制与计算机视觉引导相结合的共享控制策略，实现了机器人灵巧手臂在三维空间的伸展和抓取活动控制。使用共享控制，受试者只需通过执行两种不同的mental tasks移动机械手臂到目标周围区域。通过安装在机器人系统中的深度摄像机来精确估计目标的姿态。一旦机器人手臂的端点进入预先定义的视觉引导区域，机器人手臂就会自动抓取目标。5名健康且无经验的受试者参与了在线实验，即使没有进行具体的用户培训，平均成功率也在70%以上。结果表明，使用简单的基于MI的两类BCI, 共享控制可以使机械臂完成复杂的任务(伸开和抓取)。

1

共享控制系统的架构

研究人员设计的共享控制系统的架构如下，整个系统由三个子系统组成:BCI系统(蓝色框)、机器人系统(橙色框)和仲裁系统(灰色框)。在脑电信号采集和解码后，设计脑机接口系统的二进制输出来实现机械臂在水平面上的移动。在机器人系统中，目标块的点云由固定在桌子一角的深度相机捕获。然后可以估计目标块的姿态。在视觉引导的控制下，机器人手臂可以规划并执行一次抓取目标块的动作。根据机器人手臂端点与目标块之间的距离，仲裁器定义了BCI引导控制与视觉引导控制之间的切换条件。

共享控制系统的架构

当机器人处于视觉引导控制下时，最终的伸展和抓握过程分为三个步骤。首先，机器人的端点将移动到目标块的右上方。然后，UR5机械手的腕部关节旋转适当的角度，使抓取器对准目标块。最后，钳子闭合并为被试抓住目标块。在这种自主模式下，机器人将全速移动。

下图为仲裁系统的原则分析图。其中(a)为立体图。将UR5机器人的前部空间分为三个部分: BCI引导区域(蓝色)、视觉引导区域(橙色)和盲区(灰色)。当机器人手臂的端点位于BCI引导区域时，该机械手臂处于受试者的控制之下。一旦机械臂的端点进入视觉引导区域，它将接管机器人。(b)为顶视图。起始点和目标块之间的折线是轨迹的样本。虚线画的圆圈表示在线实验中目标块放置的区域。

仲裁系统的原则

研究人员介绍了共享控制系统的主要组成部分，包括脑电帽、放大器、机械臂、深度摄像机和目标块，如下图所示。

在线实验的场景

2

在线实验

该项研究设计的在线实验包括三个会话，每个会话持续不超过两个小时，包括休息时间。每名受试者完成整个实验三次。

每次都完成一个会话。在第一阶段，要求受试者完成目标块在8个固定位置的伸展和抓握任务的距离。如图3(a)所示，8个固定位置(L1-L8)沿圆周均匀分布。八个目标块的方向不同。

图3目标块位置图

(a) 在会话1中，8个固定位置(L1-L8)呈圆形均匀分布。(b) 在会话2和3中，与该会话1相同，在圆内生成了64个随机位置。圆圈中的灰色点表示随机位置。

在会话2中，与会话1中相同，在圆圈内生成64个随机位置。图3 (b))。在每次试验中，只有一个目标块位于圆圈内。然后受试者被要求移动机械臂来完成伸展和抓取的任务。确定当前试验失败的原则与会话1中相同。

同时记录了完成时间和机械臂端点的轨迹。受试者需要在本阶段完成64次单项试验。

会话3的目的是测试共享控制系统的随机性能。在这个过程中，受试者一动不动地坐在椅子上，看着一个空白的屏幕，而不是机械手臂。同时记录他们的脑电图信号，产生两个随机的脑机接口控制命令。需要完成的任务与会话2中相同。在这一阶段还有64次单独的试验。

下图为会话1中五名受试者的轨迹样本，对于每个位置（L1-L8），均绘制了具有中位长度的轨迹样本。蓝线表示BCI引导控制，而橙色线表示视觉引导控制。

会话1中五名受试者的轨迹样本

如上图，机械臂只能在BCI引导的控制下在左前方向和右前方向移动。这不会给轨迹带来更多的冗余。实际上，轨迹的长度主要由机械臂进入视觉引导区域的位置确定。除了记录的实际轨迹样本外，还计算了轨迹的TE。

为了直观展示实验成功与否，研究着绘制了所有试验在第2和第3阶段的结果分布。蓝点表示成功的试验，红点表示不成功的试验。

下图显示了在BCI指导的控制过程中，事件相关去同步化(ERD)的平均地形图。当要求他做左/右手MI并将机械臂移动到左/右前部时，可以在右/左感觉运动皮层中看到ERD。

受试者H在BCI控制下的ERD平均地形图。(a)左侧MI。(b)右侧MI。

本文采用BCI控制与计算机视觉引导相结合的共享控制策略，实现了机器人灵巧手臂在三维空间的伸展和抓取活动控制。在视觉指导的帮助下，简单的基于MI的两级BCI就足够了。BCI的简化使系统更易于使用。受试者完成伸展和抓取任务，即使没有特定的用户培训。在未来，人类与智能机器的结合有望带来一些真正的应用，并在日常生活中帮助残疾人。

论文信息

Yang Xu, Cheng Ding, Xiaokang Shu, Kai Gui, Yulia Bezsudnova, Xinjun Sheng, Dingguo Zhang, Shared control of a robotic arm using non-invasive brain–computer interface and computer vision guidance, Robotics and Autonomous Systems, Volume 115,2019,Pages 121-129,ISSN 0921-8890,

https://doi.org/10.1016/j.robot.2019.02.014.