张嘴伸手，闭嘴收手，东大和庆大联合开发FaceDrive，超级机械臂只用表情就能控制
张嘴伸手，闭嘴收手，东大和庆大联合开发FaceDrive，超级机械臂只用表情就能控制
大数据文摘出品
作者：刘俊寰
蜘蛛侠系列中，如果要选一个最让人印象深刻的反派角色你会选谁？
或许不少人会选择章鱼博士，作为蜘蛛侠的死对头，拥有四只机械臂的章鱼博士从各种意义上说都十分“难缠”，当然，作为反派，他也足够让观众留下深刻的印象。
虽然是一个可爱又迷人的反派角色，不得不说，章鱼博士的这四只机械臂还是很拉风的，毕竟机械臂不仅动作流畅，意念控制看上去也酷劲十足。
但是，机械臂在现实中能实现吗？
东京大学和庆应大学的答案是：可以！虽然做到意念控制还有难度，但利用“FaceDrive”，只需要面部表情，就可以控制机械臂运动了。
这项研究的一作是庆应大学理工学部情报工学科杉本研究室的正在念博二的福冈君，相关论文最近刚在ICAT-EGVE2019上发表，也在Siggraph Asia 2019上进行了演示。
实现起来，大概就是这个亚子：
机器臂能够根据伸缩指令和操作员的头部方向，使得左臂或右臂靠近头部方向的臂得以联接。操作员可以使用多种表情进行控制，比如，张嘴表示伸出手臂，闭嘴表示收缩手臂，闭上一只眼睛表示抓取，皱眉表示表示松手等。
目前研究人员正在验证使用经济高效、安全且能够进行高速原型制作的VR环境进一步地控制机械臂运动。对于后续研究，他们表示希望能创建一个通过无意识的面部表情就能进行操作的系统。
如何用表情控制超级机械臂
这只通过面部表情控制机器人手臂还有一个炫酷的名字——超级机械臂（Supernumerary Robotic Limbs，SRLs）。超级机器臂可以让身体运动变得更加轻松便捷，但这也需要操作员的配合。
为了使得超级机械臂和操作员之间的合作更加顺畅，超级机器臂甚至会预测操作员的意图，而预测操作者意图的一种方法是识别操作员的面部表情。
为此，研究人员研究了面部表情和超级机器臂命令（例如，抓取和释放）之间的映射，为了更好地捕捉并测量面部表情，在操作前，操作员需要佩戴VR HMD（头戴式显示器）。
可别小瞧了这个头戴式显示器，这个显示器内置有16个反射式光电传感器，用以精确识别面部表情，这样就可以通过机器学习，用表情对系统下达相关指令，使得机械臂做出包括伸展，收缩，抓握和释放相对应的动作。
随后，超级机器臂可以通过预测操作员的面部表情，也就是操作员的意图来执行命令了。
研究人员进行了一项数据收集研究（N=10），以了解虚拟现实环境（Virtual reality Environment，VE）中哪些表情分配超级机械臂对应的命令。
他们用了以下方法研究来映射关系：
- 使用“任意”面部表情完成“到达-抓住-释放”的指定任务；
- 分析传感器数据和自我报告的表情调查表，查找用于给定命令的最常见的表情；
- 将面部表情分组，然后通过记录任务完成时间来找到面部表情命令和超级机械臂执行的最佳组合。
结果表明，最佳组合是：
- 眼睛+嘴用于表示抓取/释放
- 嘴用于表示延伸/收缩超级机械臂
论文链接：
http://diglib.cgv.tugraz.at/handle/10.2312/egve20191275
福冈君所在的杉本实验室为了超级机械臂，可谓是下足了工夫。
杉本研究室官网链接：
http://www.dgcv.nii.ac.jp/
在杉本实验室的YouTube主页上除了超级机械臂的视频，都是一些交互式研究项目，包括表情捕捉、头戴显示设备的光电传感器对嘴型的识别等等。
支持远程操作的机械臂Fusion
超级机械臂可以说是东大和庆大联合研究的绝对代表作了。但其实，这远不是两所学校的第一次合作，早在超级机械臂之前，他们就已经合作进行了不少研究了，其中包括一个名叫“Fusion”的机械臂。
机械臂Fusion的主要开发者yamen saraiji，现在他已经是庆大媒体设计研究生院的高级助教了。说起来，他就是研究机械尾巴的那个人，这么来说好像Fusion和机械尾巴在冥冥之中存在着某些关联。
个人主页网址：
https://myamens.com/?section=1
机械臂Fusion虽然不能用面部表情控制，但是它却支持远距离操作，听上去不分伯仲嘛！
论文链接：
https://dl.acm.org/citation.cfm?doid=3214907.3214912
换句话说，远程操作者可以控制机械臂的运动，使得Fusion除了简单的协同工作之外，还能提供运动指导和支持。
由此，Fusion不仅扩展了佩戴者四肢活动的灵活性和可能性，还能够连接远程操作者和佩戴者。它既可以独立于协作场景单独使用，也可以链接到操作者用于远程协助。
远程操作者使用HMD（Oculus CV1）能够访问代理实体。佩戴者背后安装了一个背包，背包由具有立体视觉和双耳音频的三轴机器人头部和具有可移动手的两个拟人机器人手臂组成。
不仅如此，机器臂还能换成腕带，将Fusion连接到实验者的手臂上，这允许远程操作员直接指导佩戴者进行相关的行为。
由此，机械臂是变成了完全由远程操作者控制的机器人，这与MIT的HERMES项目就存在诸多相似，但其中存在一个很大的不同——Fusion需要安装在佩戴者背部，这使得Fusion具有一定的“侵入性”（invasiveness），这包括以下三个方面：
- 定向（Directed）：机械臂能帮助或者代理实验者进行相关操作。
- 强制执行（Enforced）：机械臂被替换成为腕带之后，远程操作者能够直接对实验者进行行动的控制。
- 诱发（Induced）： 远程操作者可以通过控制机械臂来强行控制实验者的行动。
而且，Fusion的一大优势在于，远程操作者与实验者的视角几乎是相同的，这样就能更为准确及时地提供反馈。
当和朋友一起协同做某事时，好一点的情况是，整个感觉就像是朋友站在身后亲身提供指导，坏一点的情况是，朋友会站在身后扇你耳光。
相信不管是哪种情况，都是一次绝妙的体验。
在Fusion的YouTube主页，不少人对这个项目大加赞赏，yamen saraiji在留言区也表示欢迎大家去实验室尝试，但是也总有那么几个要歪楼的：
额……P站会不会买Fusion还不好说，但不管是Fusion还是超级机械臂，它们都加强人们的日常行为和沟通，希望早日商业落地的好呀！
