首页
学习
活动
专区
工具
TVP
发布

机械手“天行者”最新研究进展:基于超声波和深度学习的机械手控制技术

欢迎关注工业机器人之家

机械手作为人工智能和机器人领域的一个重要课题,其硬件和软件都已经取得了长足的发展。 目前的机械手抓取力强、行动快速、灵巧敏捷,且周身遍布传感器。 但是,尽管机械手的硬件做的很好,其软件控制系统还有待提升,让机械手完全按照人们的意愿做出相应的动作是非常困难的。 要想用机械手完全代替人手,这一点是不容忽视的。

一般而言,机械手的控制方式并非像工业机器人那样简单直观的。 例如,有的机械假肢手需要感受上臂、肩膀、胸部的微小肌肉运动,有的则需要通过感受脚趾肌肉运动。 无论哪种情况,都无法做到根据用户意愿来摆动机械手手指; 这需要不同机械手指不同部位的协同运动,最终形成复杂的整体运动。通过不断的实践和长时间的模拟运动,机械手虽然能够实现简单的操作功能,但是,依然无法控制机械手进行精密的动作。

佐治亚理工学院的Gil Weinberg、Minoru Shinohara和Mason Bretan研发了一种全新的控制机械手的方法。通过超声波和深度学习技术,研究人员已经能够绘制出详细的前臂小肌肉运动图,这使得直观地控制机械手甚至机械手指成为可能。这种控制方法比目前的任何控制系统都更加实用,研究人员把采用了这种控制方式的机械手称为“卢克·天行者(星球大战里的一名绝地武士)的仿生手”。

Jason是假肢实验的参与者。虽然他失去了前臂,但是他仍然拥有连接手指的前臂肌肉。前臂肌肉主要作用是连接手指和大脑,Jason的前臂肌肉虽然无法连接手指,但是这些肌肉依然与他的大脑相连。 当他的大脑想要移动他并不存在的手指时,它会发送特定信息给他的前臂肌肉。除了一些以极其表象的方式表现出来的信息,大部分信息太过复杂以至于肌电信号(EMG)传感器也不能识别。然而,研究人员可以通过超声波制作更加详细和动态的特征图。再结合一些深度学习(就像每个人每天都在做的事情一样),就可以实现超声波模式与手指的特定运动相关的仿真度达到前所未有的新高度。

为了了解研究的详细内容,我们采访了佐治亚理工学院音乐技术中心的教授Gil Weinberg。

IEEE Spectrum:新闻稿里提到了您“团队环顾实验室,看到一台超声波机器”时,萌生了这个想法,事情真的就是这么简单吗?

Gil Weinberg:整个事情是这样的,我们一直试图用表面肌电信号来控制手指,但信号太过嘈杂了。因此,我们去了佐治亚理工学院的另一个实验室,在应用生理学项目中尝试一种切入式的方法——针电极肌电信号,我们想的是,如果传感器离肌肉更近,我们就可以更好地分辨不同的手指动作。但是这种方法下的信号也很嘈杂,尽管可能比表面肌的电信号稍微清楚些,但是我们仍然无法得出任何可靠的预测。我们想不明白如果身体“知道”如何控制手指,那为什么不能感测到它呢? 于是我们的假设针的电极没有放在正确肌肉旁的最佳位置,因此没有实现准确的感测。 我们意识到如果能看着肌肉,我们就会知道在哪里放针电极最好。 然后,我们环顾实验室的时候就看到了超声波机器:)

当我们第一次看到肌肉运动的超声波图像时,“醍醐灌顶”的发现出现了。 当不同的手指移动时,虽然电极活动的水平可能相似,但是肌肉运动的轨迹和速度明显不同且具有重复性。 屏幕上的运动图像与不同的手指动作有了很好的相关。因此,我们决定使用超声波作为传感器而不是使用超声波来确定放置EMG针的位置。 为了代替肉眼去识别肌肉运动轨迹,我们运用深度神经网络来模拟运动轨迹并预测手势动作。

为什么这种技术没有在之前使用过呢?

Gil Weinberg:其实我们后来了解到,之前有其他团队尝试用超声波检测肌肉运动模式。 但是,我们是首只运用深度学习方法的团队。

这种方法让我们首次实现预测连续的、即时的手指动作,进而可以让截肢者完全控制自己的手指。 用户不需要学习一系列特定的手势, 他们可以像平常那样动动自己的肌肉,机械手也会随之移动。相信我们也是首个将深度学习模式与机械手联系起来的团队。 另外,并没有多少实验室关心我们做音乐的方式:)。 对于音乐而言,你真的需要这些连续的、即时的、富有表现力的手势。正如你所记得的,我的座右铭一直是:如果我们的机器人满足了音乐上要求(音乐是最微妙和最富有表现力的人类活动之一),那么他们将满足几乎任何其他情况下的需求。

这个系统在多大程度上是专门为Jason(视频中该研究的参与者)设计的? 如果给其他截肢者使用的话,需要做出什么样的调整吗?

Gil Weinberg:由于人体肌肉在不同主体上的运动非常相似,所以这一系统适用于任何人。 对每一位任何特定用户进行30-60秒的训练之后,用户可以对系统进行微调以适应个体差异。

这个系统需要用户对手和手指的移动有多大程度的控制? 光剑对决有可能发生吗?

Gil Weinberg:通过深度学习架构,我们实现了完全连续的预测肌肉运动轨迹,这使得机械手能够进行高度灵活的活动。 我们希望截肢者可以利用这项技术实现诸如洗澡、装扮、吃饭这样的活动。至于光剑对决,这当然还涉及假肢硬件的问题。 在达斯·维达击中你之后,机械手需要强大而灵活的电机继续发力去握紧光剑。 正如你在视频中看到的,我们目前正专注研究能弹钢琴的机械手,这对电机和驱动有着不同的要求。在我看来,我们可能需要相当长的一段时间才能完成一个能够同时做好两项活动的通用机械仿生手。

请问您目前在对机械手做什么改进,最具挑战性的事情是什么?

Gil Weinberg:目前我们致力于两个方向的改进:一是研发一种灵活的、富有表现力的、能弹奏钢琴的机械手;二是降低超声波传感器的使用能耗,从而使其易于佩带和实现商业化。 这两个都是非常有挑战性的任务。

虽然这的确很具有挑战性,但是这其中蕴含的潜力是相当巨大的——也许不能做到光剑那么厉害,但是如果我们能重新发明早在遥远的银河系就存在的技术,Jason到时一定用得上它。

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20171214B0S5ZB00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券