DensePose开源了,2D变3D人体姿势实时识别 | Facebook@CVPR 2018

圆栗子 编译整理 量子位 出品 | 公众号 QbitAI

大家可能还记得,今年2月Facebook发布的,人体姿势实时识别系统DensePose。

现在,代码开源了。撒花。

100人也很轻松

DensePose,这项技术可以把2D图像,转换成3D人体模型,并已成功跻身今年CVPR的Oral环节。

Facebook和来自法国的INRIA研究所共同开发的AI,和传统姿态估计系统很不一样。

前人的姿势识别,大多是着眼一组关节,比如手腕,比如肘部。

不过,Facebook团队觉得,这样的观察方式,是没有办法深刻理解图像的。

他们需要的是,人体表面的全方位观察,把每个人变成UV贴图,一片一片一片,一片。

系统可以覆盖浑身上下超过5000个节点,比十几个关节要细致得多。

另外,DensePose每秒处理多帧画面,而且,就算视频里同时出现100个人,也没问题。

每一个被人体占据的像素,尽收眼底。

这样的任务,一个GPU可以完全搞定。2D转3D的速度和准确度,有希望为AR/VR这样的应用提供加持。

数据集叫COCO

这样的成就,DensePose-COCO功勋卓著。

这是一个大规模的参考标准 (Ground Truth) 数据集。里面包含了5万人图像 - 表面UV图的一一对应。

随机采样的人类,千姿百态,还有各个身体部位分割开来的样子。

万事俱备,只是数据集还没开源。

模型结构怎样

DensePose-RCNN,深度神经网络的结构,是团队新建的。

他们是在Facebook自家的物体检测平台Detectron上面,搭起了这样一个模型。

在全卷积处理之后,用了兴趣区域池化层 (ROI Pooling) 。研究人员用三个输出通道,扩增了这个网络。

训练好之后,AI可以把每一个像素,分配到不同的身体部位,给出U坐标和V坐标。

看着自家神经网络茁壮成长,Facebook团队还在博客里致谢了被并到PyTorch里的Caffe 2

学习时间

现在,既然还不知道数据集里面,有多少羞羞的姿势,大家就先瞻仰一下代码吧。

GitHub传送门: https://github.com/facebookresearch/DensePose

顺便,CVPR正在盐湖城开心地进行。6月22日,就要轮到DensePose团队开讲,当地时间早8点之前,沉迷学习的各位可以趁机复习一下论文。

论文传送门: https://arxiv.org/pdf/1802.00434.pdf

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2018-06-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏媒矿工厂

Facebook VR方案总结(三)

全景视频,也称360°视频,是一种新一代的视频显示技术,用户置于球形区域中央,可以任意在拍摄角度周围360度地观看动态视频,而不受时间、空间和地...

4385
来自专栏AI研习社

博客 | 一个项目的经验教训:关于打乱和拆分数据

最近因为某事要准备一点材料,刚好前段时间给导师做项目的时候遇到一个大坑,浪费了很多时间,所以就着这个问题顺便做点总结。

1682
来自专栏PPV课数据科学社区

译文:安德鲁.M.莫尔的教程(一) PDF下载

安德鲁•W•穆尔简介 卡耐基梅隆大学的计算机科学学院院长,机器学习、人工智能、机器人技术,大数据统计计算行业背景,热爱算法和统计,最喜欢机器人技术。 曾在机...

3576
来自专栏量子位

想成为机器学习工程师?这份自学指南你值得收藏

问耕 编译整理 量子位 出品 | 公众号 QbitAI 这篇文章的作者为Andrey Nikishaev,他既是一个软件开发者,也是一个创业者。 ? 如何成长为...

4925
来自专栏专知

Top 50!2017年机器学习热门文章精选

【导读】1月26日,Mybridge发布一篇看2017年热门网文入门机器学习应用开发。作者总结了2017年1月到12月近2万篇文章,从中选取前50名分享给大家。...

3745
来自专栏人工智能头条

AAAI 前主席 Thomas G. Dietterich:如何构建强健的人工智能

962
来自专栏AI科技大本营的专栏

CCAI 2017 | 机器学习先驱Thomas Dietterich:如何构建强健的人工智能—原因及方式

俄勒冈州立大学教授、AAAI 前主席 Thomas G. Dietterich 文/CSDN周翔 7 月22 - 23 日,由中国人工智能学会、阿里巴巴集团 &...

3697
来自专栏媒矿工厂

机器学习创建个性化、快餐式媒体内容

付费电视服务在与运营商之外的第三方通过互联网提供(Over-The-Top,OTT)的视频点播(Video-on-Demand,VoD)服务的竞争中逐渐处于劣势...

2012
来自专栏目标检测和深度学习

逆天!MIT新“像素发声”系统,完美分离声与画(附视频)

新智元报道 来源:MIT CSAIL 编辑:小潘、克雷格 【新智元导读】麻省理工学院(MIT)的计算机科学与人工智能实验室(CSAIL)最近研发出一种名...

2865
来自专栏AI科技大本营的专栏

干货 | 1400篇机器学习的文章中,这10篇是最棒的!

【导读】在过去的一个月中, 作者从近 1400 篇有关机器学习的文章中挑选了最有可能帮助职业生涯发展的 10 篇推荐给大家(入选比率为0.7%)。

1032

扫码关注云+社区

领取腾讯云代金券