DensePose 开源了!利用它可轻松实现实时3D人体姿势识别!

点击蓝字关注这个神奇的公众号~

本文经AI新媒体量子位(公众号 ID: QbitAI)授权转载,转载请联系出处

大家可能还记得,今年2月Facebook发布的,人体姿势实时识别系统DensePose。

现在,代码开源了。撒花。

100人也很轻松

DensePose,这项技术可以把2D图像,转换成3D人体模型,并已成功跻身今年CVPR的Oral环节。

Facebook和来自法国的INRIA研究所共同开发的AI,和传统姿态估计系统很不一样。

前人的姿势识别,大多是着眼一组关节,比如手腕,比如肘部。

不过,Facebook团队觉得,这样的观察方式,是没有办法深刻理解图像的。

他们需要的是,人体表面的全方位观察,把每个人变成UV贴图,一片一片一片,一片。

系统可以覆盖浑身上下超过5000个节点,比十几个关节要细致得多。

另外,DensePose每秒处理多帧画面,而且,就算视频里同时出现100个人,也没问题。

每一个被人体占据的像素,尽收眼底。

这样的任务,一个GPU可以完全搞定。2D转3D的速度和准确度,有希望为AR/VR这样的应用提供加持。

数据集叫COCO

这样的成就,DensePose-COCO功勋卓著。

这是一个大规模的参考标准 (Ground Truth) 数据集。里面包含了5万人图像 - 表面UV图的一一对应。

随机采样的人类,千姿百态,还有各个身体部位分割开来的样子。

万事俱备,只是数据集还没开源。

模型结构怎样

DensePose-RCNN,深度神经网络的结构,是团队新建的。

他们是在Facebook自家的物体检测平台Detectron上面,搭起了这样一个模型。

在全卷积处理之后,用了兴趣区域池化层 (ROI Pooling) 。研究人员用三个输出通道,扩增了这个网络。

训练好之后,AI可以把每一个像素,分配到不同的身体部位,给出U坐标和V坐标。

看着自家神经网络茁壮成长,Facebook团队还在博客里致谢了被并到PyTorch里的Caffe 2

学习时间

现在,既然还不知道数据集里面,有多少羞羞的姿势,大家就先瞻仰一下代码吧。

GitHub传送门: https://github.com/facebookresearch/DensePose

顺便,CVPR正在盐湖城开心地进行。6月22日,就要轮到DensePose团队开讲,当地时间早8点之前,沉迷学习的各位可以趁机复习一下论文。

论文传送门: https://arxiv.org/pdf/1802.00434.pdf

编译整理:圆栗子 转载自公众号:量子位

原文发布于微信公众号 - 进击的Coder(FightingCoder)

原文发表时间:2018-06-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏华章科技

基于客户行为事件的跨领域统一推荐模型探讨

跨领域深度学习模型一直是近几年推荐系统主要研究方向之一, 本文探讨一种个人客户画像构建的新思路, 并讨论对应的基于个人行为事件的跨领域统一推荐模型。

653
来自专栏数据的力量

干货 | 从定义到应用,数据挖掘的一次权威定义之旅

1534
来自专栏量子位

DensePose开源了,2D变3D人体姿势实时识别 | Facebook@CVPR 2018

大家可能还记得,今年2月Facebook发布的,人体姿势实时识别系统DensePose。

1952
来自专栏人工智能头条

算法、应用与计算平台,讯飞百度阿里360的深度学习经

2494
来自专栏互联网数据官iCDO

跟你想的不同!Look-alike用户行为模拟建模背后的科学分析

译者注: Look-alike模型是我们关心的领域。 做数字营销的朋友们,希望打破流量的铁律——随着流量数量的增大,流量的质量必然会逐步下降。流量质量下降的原因...

4935
来自专栏IT大咖说

游戏AI领域,机器人技术的研究与应用

内容来源:2018 年1月5日,深奇智慧联合创始人高扬在“2018移动技术创新大会”进行《游戏机器人的研究与应用》演讲分享。IT 大咖说(微信id:itdaka...

1937
来自专栏人工智能头条

干货 | 1400篇机器学习的文章中,这10篇是最棒的!

【导读】在过去的一个月中, 作者从近 1400 篇有关机器学习的文章中挑选了最有可能帮助职业生涯发展的 10 篇推荐给大家(入选比率为0.7%)。

1284
来自专栏深度学习自然语言处理

谈谈我在自然语言处理入门的一些个人拙见

因为最近在准备本科毕设的论文部分,所以最近原创的相对比较少,但是为了坚持每天学点新知识,我也逼着自己每天抽出晚上的1小时左右把自己想到的并且自己还没理解的小知识...

1132
来自专栏ATYUN订阅号

谷歌大脑研究:AI识别蛋白质结晶,准确率高达94%

谷歌大脑团队的成员今天宣布开发了用于识别蛋白质结晶的深层卷积神经网络,准确率约为94%。蛋白质结晶决定了细胞的形状,可以在发现治疗各种疾病的药物中发挥作用。它们...

1083
来自专栏IT派

量子机器学习入门科普:解读量子力学和机器学习的共生关系

IT派 - {技术青年圈} 持续关注互联网、大数据、人工智能领域 原作:Reena Shaw 安妮 编译自 KDnuggets 量子位 出品 | 公众号 Qb...

3876

扫码关注云+社区