最新姿态估计研究进展

最新姿态估计研究进展

自上而下:就是先检测包含人的框,即human proposal,然后对框子中的人进行姿态估计。一般RCNN(区域CNN就是这个思路)

自下而上:先检测keypoint,然后根据热力图、点与点之间连接的概率,根据图论知识,基于PAF(部分亲和字段)将关键点连接起来,将关键点分组到人。

1、CMU:openpose 研究多人的姿态估计

运行环境:caffe

自下而上, 关键点被分组到人的实例

时间:2.8-3.4fps

开源,Github: https://github.com/CMU-Perceptual-Computing-Lab/openpose

2、谷歌:

(1)deepgaze 研究头部姿态和注意力方向的,开源

主要为头部姿态估计 先框出人脸区域,再进行姿态估计。

运行环境:tensorflow+python

运行速度较快,基本满足实时性,准确度略差。

开源。Github: https://github.com/mpatacchiola/deepgaze

(2)野外多人姿态估计:Towards Accurate Multi-person Pose Estimation in the Wild 自上而下(up-bottom)的方法,把姿态估计器放在边界框的输出后。

未开源

3、UCLA:

(1)《Articulated Pose Estimation by a Graphical Model with Image Dependent Pairwise Relations》2014

(2)《Joint Multi-Person Pose Estimation and Semantic Part Segmentation> ( ICCV 2017, UCLA)》自上而下

时间需要8s一张图。

4、Facebook: 2018

mask RCNN:https://github.com/facebookresearch/Detectron

该开源项目可以进行人-物交互识别,如有人拿着手机在耳朵边,则可判定为人在打电话,人手上捧着书,则人在读书。网络通过目标检测和语义分割联合进行,从而进行行为识别。

据说keypoint检测和openpose差不多,效果略差于openpose.可见时间也提不上去。

Caffe2+python

5、deepercut: 2016

基于tensorflow

其具体思路即(类似openpose):提出人体部件的候选区域,每个候选区域作为一个节点,所有的节点组成一个密集连接图,节点之间的关联性作为图节点之间的权重,将其作为一个优化问题,将属于同一个人的部件(节点)归为一类,每个人作为一个单独类。

(1)采用了Resnet(残差网络)来提高body part的检测,更加的有效,精度更高;

(2)使用了image-conditioned pairwise terms可以将得到足够丰富的候选区域节点压缩到一定数量的节点,而这也是整个论文的核心部分,也是stronger & faster的主要原因。通过候选区域节点之间的距离来判断是否为不同的重要关节点。

https://github.com/eldar/deepcut-cnn

时间:230s/frame(太慢了)

6、《RMPE: Regional Multi-Person Pose Estimation》ICCV 2017 腾讯优图和上海交大联合研究的。它对于多人姿态估计的方法采用传统的自顶向下的方法,即先检测人,再识别人体姿态。检测使用的是SSD-512,识别人体姿态使用的是state-of-the-art的Stacked Hourglass方法。

论文地址:https://arxiv.org/abs/1612.00137v3

项目主页:RMPE: Regional Multi-person Pose Estimation

http://blog.csdn.net/qq_36165459/article/details/78330800

人体姿态数据集:

LSP

地址:http://sam.johnson.io/research/lsp.html √

样本数:2K

关节点个数:14

全身,单人

FLIC

地址:https://bensapp.github.io/flic-dataset.html √

样本数:2W

关节点个数:9

全身,单人

MPII

地址:http://human-pose.mpi-inf.mpg.de/ √

样本数:25K

关节点个数:16

全身,单人/多人,40K people,410 human activities

MSCOCO

地址:http://cocodataset.org/#download

样本数:>= 30W

关节点个数:18

全身,多人,keypoints on 10W people

AI Challenge

地址:https://challenger.ai/competition/keypoint/subject

样本数:21W Training, 3W Validation, 3W Testing

关节点个数:14

全身,多人,38W people

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

数据挖掘150道试题 测测你的专业能力过关吗?

100个iOS开发/设计程序员面试题汇总,你将如何作答? 大数据技术Hadoop面试题,看看你能答对多少?答案在后面 单选题 1. 某超市研究销售纪录数据后发现...

2764
来自专栏CreateAMind

【前沿跟进】Google, OpenAI提出层次强化学习新思路

1271
来自专栏人工智能头条

Top 50机器学习项目实战总结

4632
来自专栏达观数据

达观数据搜索引擎排序实践(下篇)

机器学习排序 机器学习排序(Machine Learning to rank, 简称MLR) 机器学习排序系统框架 机器学习排序系统一般分为离线学习系统和在线预...

52910
来自专栏PPV课数据科学社区

【学习】R语言18讲(五)

? 上篇讲到了数据挖掘的质量分析,主要是对数据缺失情况,准确情况,以及数据集的结构进行探索,接下来,我们就要对数据的特征进行分析了,所谓数据的特征分析就是指数...

34311
来自专栏数据派THU

独家 | 用Python Featuretools库实现自动化特征工程(附链接)

本文简要介绍特征工程的基本组成部分,并用直观的示例理解它们,最后给出使用Python Featuretools库实现自动化特征工程的操作过程。

2562
来自专栏AI研习社

从零开始用 TensorFlow 分析情绪,硅谷网红带你飞

Siraj Raval 作为深度学习领域的自媒体人在欧美可以说是无人不知、无人不晓。 凭借在 Youtube 上的指导视频,Siraj Raval 在全世界吸...

3986
来自专栏AI科技大本营的专栏

800万中文词,腾讯AI Lab开源大规模NLP数据集

10 月19 日,腾讯 AI Lab 宣布开源大规模、高质量的中文词向量数据。该数据包含 800 多万中文词汇。

2533
来自专栏人工智能头条

ACL 2017自然语言处理精选论文解读

1301
来自专栏AI研习社

深度解密换脸应用 Deepfake

Deepfake 就是前一阵很火的换脸 App,从技术的角度而言,这是深度图像生成模型的一次非常成功的应用,这两年虽然涌现出了很多图像生成模型方面的论文,但大都...

8836

扫码关注云+社区

领取腾讯云代金券