专栏首页量子位墙后的所有姿势,全被“瞎眼”AI透视

墙后的所有姿势,全被“瞎眼”AI透视

李林 若朴 发自 凹非寺 量子位 出品 | 公众号 QbitAI

古人云,隔墙有耳。

但想要做到“隔墙有眼”,就像二娃那样,能穿墙透视,似乎是种遥不可及的本领。

现在,MIT CSAIL的一群科学家,就用AI构建了一双透视眼。你在墙后的一举一动,它就都能看见。这项研究,作为spotlight论文发表在CVPR 2018上。

呐,效果就是这样。

识别的方式,就是把人体简略成一套基本的骨架结构。不同部位,用不同的颜色标示,左右手、左右腿都不一样。

即便你走到墙后,人眼看不到,但AI一样能准确判断你的位置与姿势。基本算是开了一个透视外挂。

墙都挡不住这套系统,窗帘就更不在话下了。

黑灯瞎火的地方,也完全不是问题。

上面这个演示,我们还可以看到,这个AI认出了两个人。没错,这个AI还能同时识别多人的姿态。

而且即便是多人同时交叉行进的复杂场景,这个AI也能顺利搞定。

看到这,你可能会说:除了穿墙之外,其他的演示,并不算炸裂啊,这种人体姿态的识别,已经早有人做了,不是么?

没错。

但这个AI,其实是个眼瞎的“盲AI”!

穿墙透视也好,多人识别也好,依靠的全都不是视觉信号,实际上,根本没给AI视觉信号。

那,这个AI靠什么识别人体?

无线电波。

它用的无线电波有点类似大家常见的WiFi信号,但是功率更弱一些。利用无线信号在人身上的反射,来“看清”人体。

因此,这个AI的名字就叫RF-Pose,从射频到姿势的意思。

来,感受下这两张图。看看你能不能脑补出人体姿势。

透视眼修炼之道

我们前面提到过,RF-Pose识别人类动作时,根据的并不是视频,而是无线电波的反射。

而想要训练这样一个AI,面临着一个严重困难:

根本没有标注好的数据集可用。

更要命的是,就算你纠集一批人类,想群策群力标注一个这样的数据集,也完全不可行——无线电信号那个微弱粗糙的分辨率,我们人类根本认不出。

这个困难,在训练过程中无法回避。于是,他们用上了“跨模态监督”方法,在无线电波接收器旁边加了个摄像头,同步记录无线电波和视频,然后从视频流中提取人体姿势信息,用作无线电波的监督信号。

他们在MIT校园里收集了50小时的数据集,男女老少都不放过,场景包括办公室、食堂、教师、报告厅、楼梯、走廊等等50余处。

在这个数据集里,最热闹的数据帧包含14个人,最少的当然是完全没有人。

也就是说,数据集包含两大部分:图像上能看到人的、和人被遮挡了的。MIT团队从图像上能看到人的部分选取70用于训练,30%留作测试用,而人被遮挡的数据全都用来测试。

70%能看见人的数据,拿来训练了一个跨模态“师生网络”。

在这个网络中,老师以图像为输入,预测出人体关键点的置信图,学生以射频信号为输入,以和老师最接近为目标,学着预测人体关键点置信图。

从置信图再生成出我们最终看到的骨架模型,RF-Pose的透视技能就算修炼完成了。

无线新方向

这篇论文的作者,包括Mingmin Zhao、Tianhong Li、Mohammad Abu、Alsheikh Yonglong、Tian Hang Zhao、Antonio Torralba、Dina Katabi等。

其中一作Mingmin Zhao(赵明民),本科毕业于北京大学,目前在MIT读博。去年夏天,赵明民发表过另一篇AI+无线信号的论文,主要用这个技术来监测人类的睡眠情况。论文发表在ICML 2017上。

论文传送门:http://sleep.csail.mit.edu/

此前,他还研究过使用无线信号识别表情。

传送门:http://eqradio.csail.mit.edu/

你看,这其实是一整套技术。不用安装摄像头,只需要通过类似WiFi的无线信号,现在就能知道你在哪,有什么动作,是什么姿势,情绪怎么样,心跳快不快以及睡眠质量怎么样……等等。

当然这套技术并不是要窥探你的隐私。

而是有更广泛的应用场景。例如,帮忙监测家里的老人或者医院的病人。这套系统有几个好处。

首先,不用摄像头,省却了很多隐私的担忧。

其次,这个技术能比较准确的识别出不同的人,并且追踪行动、姿态、情绪等相关数据。

再次,监测可以穿墙而过,不受干扰。

以及,被监测对象可以不必佩戴随身任何其他设备,轻松高效。

总之这是个很有意思的方向。当然这一方向的研究,还有大量的工作需要完成。比方,这个团队会继续寻求捕捉更细微的动作,例如老人的手部颤抖等。当然透视监测的准确率,也需要进一步提升。

而赵明民之所以一直研究这个方向,其实源于他的导师:Dina Katabi。

Katabi教授一直在研究无线技术,她是CSAIL实验室NETMIT研究组负责人,也是MIT无线网络和移动计算中心的主任。

上面提到的所有研究,其实都没有细讲无线信号的问题。

实际上,Katabi团队在2015年发表的一篇论文里,对这件事有更为详细的描述,论文题目:Capturing the Human Figure Through a Wall。

在这篇论文里,披露了当时那套无线设备的一些细节。

呐,就是这样。

研究传送门

项目主页: http://rfpose.csail.mit.edu/

论文

Through-Wall Human Pose Estimation Using Radio Signals Mingmin Zhao, Tianhong Li, Mohammad Abu Alsheikh, Yonglong Tian, Hang Zhao, Antonio Torralba, Dina Katabi Computer Vision and Pattern Recognition (CVPR), 2018 http://openaccess.thecvf.com/content_cvpr_2018/papers/Zhao_Through-Wall_Human_Pose_CVPR_2018_paper.pdf

说明一下,目前这个AI的监测效果,在没有遮挡的情况下,准确率62.4%,需要穿墙透视的时候,它的准确率是58.1%。

先别太苛刻,这个AI还是个宝宝嘛。就算是看着视频来识别姿势,现在AI的准确率也并没有非常高。2017年旷视在MS COCO人体关键点检测夺冠的成绩,也才73%而已。

推断出人体姿势之后,AI还能进行一些其他工作:比如根据这个骨架结构来认人。给AI两秒钟的骨架活动片段,它认人的准确率就能达到83%。

本文分享自微信公众号 - 量子位(QbitAI)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-06-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 硅谷钢铁侠马斯克:2030年AI样样都比人类强

    问耕 编译整理 量子位 出品 | 公众号 QbitAI 最近牛津大学、耶鲁大学面向352名专家的联合调查结果显示,到2060年前,人工智能将在任何事情上击败人类...

    量子位
  • 人形AI捉迷藏惊煞网友:飞檐走壁纯靠自学,表情丰富还会合作,姚班学霸吴翼参与

    蓝色小人努力隐藏,而红色小人在复杂的地形中苦苦寻找,这场不是你死就是我活的对抗,不是CG动画,而是:

    量子位
  • Dota2团战AI击败人类最全解析:能团又能gank,AI一日人间180年

    量子位
  • 干货 | 北大林作铨教授:从事AI研究30年,我如何看待人工智能

    大数据文摘
  • DataRobot:人工智能道德规范,通过遵循伦理实践来建立信任(一)

    随着机器学习和人工智能的发展,似乎每个人都想进入这一领域,人工智能承诺提高准确性、速度、可伸缩性、个性化、一致性和业务各个领域的清晰度。有了这些优势,为什么有些...

    AiTechYun
  • 不服?来跑个分!

    如今,手机厂商发布新品,跑分环节一定是少不了的。就连拍照这种很难量化的指标,也要整出一个DxOMark得分,分出高下。我们对数字是如此迷恋,以至于《小王子》里面...

    云水木石
  • 国内前三!腾讯云AI公有云市场份额持续领先

    “针对AI算法工程师群体,腾讯云推出了一站式机器学习智能钛产品,包含有机器学习平台TI-ONE和弹性模型服务平台TI-EMS,为AI开发者提供主流框架和丰富的算...

    腾讯智能钛AI开发者
  • 首次公布AI新基建全景布局,腾讯云AI多项指标国内第一

    5月27日,腾讯云AI计算机视觉产品中心总经理王磊在媒体沟通会上透露,截至目前,腾讯云AI公有云日处理图片超30亿张,日处理语音250万小时,自然语言处理超千亿...

    腾讯云AI中心
  • 吴恩达、张潼接受WSJ采访:如何让AI像电力一样颠覆世界?

    AI科技评论按:目前,人工智能也许是科技界的一大困扰之一。很多人感到很恐惧,害怕将来机器人掌管整个世界。 斯坦福大学兼职教授、谷歌前人工智能科学家吴恩达与腾讯 ...

    AI科技评论
  • AI 怎么硬起来?硬蛋与云知声发布智能家居“新声态”,角逐智能语音百亿市场

    【新智元导读】 27日下午,硬蛋AI+产业峰会在国家会议中心举行。 峰会齐聚人工智能(AI)科学家、行业领袖与创业者以及市场分析师,共话产业应用与未来,资本风口...

    新智元

扫码关注云+社区

领取腾讯云代金券