首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

MIT团队实现可穿墙“透视”技术,识别人体姿态正确率高达83%

通过人体姿态估计系统得到的2D骨架轮廓。(来源:MIT CSAIL)

MIT计算机科学及人工智能实验室团队设计出一套人体姿态估计系统,通过无线信号,就能“穿墙而过”,精确监测出视线外的受试者的姿态及运动。

来源 | MIT等

编译 | 吴非

视频来源:MIT CSAIL

所谓人体姿态估计(human pose estimation),是指从人体图像中提取出手臂、腿部的关节,以及躯干和头部的关键点,并用这些信息重新组成2D的人体骨架。通俗点说,就是把人简化成“火柴人”的模样。作为机器视觉的重要分支,人体姿态估计在行为识别、监控、游戏等场景中都有重要应用。

不过,以往的人体姿态估计是通过相机拍摄的图像实现的,因此当人体被墙壁等物体遮挡时,姿态估计将面临困境:如果人体被部分遮挡,人们还可以通过可视的部位,粗略推测身体其余部位的位置;而当障碍物将人完全遮住,设备就将束手无策了。

要估计出墙另一侧的人体姿态,透视是必不可少的。一个容易想到的方案是X射线,不过,这需要被测者完全处于X射线辐射中,这在现实中显然不切实际。

用“Wi-Fi”信号识别姿态

MIT计算机科学及人工智能实验室(CSAIL)的研究人员另辟蹊径,他们使用的手段是无线信号——没错,我们每天都在用的Wi-Fi就是最典型的无线信号。相比于标准的Wi-Fi信号,这项研究使用的信号强度还要低1000倍。

由于人体的高含水量,无线信号难以穿透,因此信号在遇到人体时会反射回来,重新穿过墙体,从而被另一侧的探测器接收。

从原理上看,用无线信号进行穿墙的监测丝毫不复杂,但真正困难的地方在于,探测器收到的信号十分嘈杂——不仅有人体反射回的信号,还有经过其他反射途径收集到的信号。“从墙壁直接反射回来的信号,要比穿过墙体、经人体反射,再一次穿过墙体后收到的信号强得多。”这项研究的共同作者之一,MIT的计算机科学家Dina Katabi说。因此,他们决定设计一套名为RF-Pose的AI系统,通过神经网络学习估计人体姿态。

研究团队所面临的一项挑战,是训练样本的标记问题。在通常的神经网络训练过程中,人们需要首先对海量图片库进行标注,例如,告诉AI这张图片上的是猫。这样,AI才能通过大量图片进行学习。然而,在这个特定的问题中,研究者很难对图片中的人体姿态进行标记。

为此,研究人员想到了用无线设备和相机同时采集数据的方法。在MIT校园的50个地点,他们进行了超过50小时的数据收集。他们在办公室、咖啡厅、楼梯、走道等场所,采集了数千名学生行走、交谈、静坐、开窗、站立等日常活动的照片。

数据采集地点遍布MIT校园(来源:研究论文)

随后,他们从相机拍摄的照片中,将学生们的轮廓简化成骨架,并连同相应的无线信号送至神经网络。这样,神经网络就能学习各种场景下的骨架与无线信号间的对应关系。

经过训练,RF-Pose仅仅依靠从人体反射回的无线信号,就能精准预测一个人的姿态及行动。

原始图像(上)、关键点置信图(中)及生成的2D骨架图(下)(来源:研究论文)

值得注意的是,RF-Pose从未接受过“穿墙透视”的姿态判断训练。原因很简单,相机无法拍摄墙壁后的学生。因此,当MIT团队发现他们的系统能运用所学的知识来处理隔墙的情形时,也感到十分惊讶。“如果你将计算机视觉系统看作教师,这个案例向我们展示了学生是如何胜过老师的。”这项研究的参与者之一,Antonio Torralba教授说道。

广阔前景Vs隐私担忧

除了反映被测者的姿态及运动,这项技术甚至能够进行个体识别。在测试中,RF-Pose从100名志愿者中识别个体的正确率高达83%

“不仅是位置,”Katabi说,“系统监测的是精确的移动。因此,如同人们的指纹,系统得到的步态也是你独一无二的特征,能将你和其他人区分开。”

该团队的下一步工作,是将2D的姿态估计拓展至3D,如能实现,它将反映出更加微幅的运动。这一技术具有重要的实用场景:如果检测到一位老人的手在规律性地微幅抖动,系统就可以建议被测者去做帕金森病的检查。

研究团队表示,他们希望将这套系统用于帕金森病、多发性硬化等疾病的监测,从而帮助人类理解疾病的进程。为此,他们正与医院合作,以探索在医疗领域的应用。此外,这项技术也可能降低老年人群独立生活的风险:一旦出现突然跌倒、受伤等情况,系统可以向监护人立即发出警报。

这项技术在令人惊叹之余,也不免让人担心,会不会始终处于无形的监控之下。为了保护使用者的隐私,研究团队收集的所有匿名数据都得到了被测者的同意,并进行加密。而在今后的实际应用中,研究者表示,他们计划建立“同意机制”,使用者可以通过特定的动作开启监控。

这项工作将在本月的计算机视觉及图像识别会议(Conference on Computer Vision and Pattern Recognition)上进行展示。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180614B1MGJ500?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券