专栏首页机器学习、深度学习人体姿态估计--RMPE: Regional Multi-Person Pose Estimation

人体姿态估计--RMPE: Regional Multi-Person Pose Estimation

RMPE: Regional Multi-Person Pose Estimation ICCV2017 Code is based Caffe and Torch! https://github.com/MVIG-SJTU/RMPE https://github.com/MVIG-SJTU/AlphaPose

多人人体姿态估计本文解决思路: 多人检测+单人人体姿态估计 Faster-RCNN + SPPE Stacked Hourglass model 对 SPPE 进行了改进,引入了 三个模块: Symmetric Spatial Transformer Network (SSTN), Parametric Pose Non-Maximum-Suppression(NMS), and Pose-Guided Proposals Generator (PGPG)

多人人体姿态估计目前主要有两类方法: two-step framework 和 part-based framework two-step framework:先将每个人检测出来,用矩形框框出来,然后对每个人独立的进行人体姿态估计 part-based framework: 首先将人体 body parts 全部检测出来,然后 组装这些部件形成多人姿态估计。

这里我们采用 two-step framework:Faster-RCNN + SPPE Stacked Hourglass model,下图显示存在的问题

主要的问题有两个: localization error problem 和 redundant detection problem SPPE 对于矩形框位置误差很敏感。SPPE 对每个矩形框都会产生一个姿态,所以重复检测导致了冗余姿态

为了解决上述两个问题, 我们提出一个 regional multi-person pose estimation (RMPE) framework

3 Regional Multi-person Pose Estimation 首先用人体检测器得到 human bounding boxes, 可以用 SSD 或 Faster R-CNN。然后将这些人体矩形框输入 “Symmetric STN + SPPE” 模块,自动输出 pose proposals,对这些 pose proposals 我们用 parametric Pose NMS 微调得到 最终的 人体姿态估计。

在训练阶段,我们引入 “Parallel SPPE” 来避免局部最小值,提升 SSTN 性能。The Parallel SPPE acts as an extra regularizer during the training phase 为了增强已有的训练样本,我们设计了 pose-guided proposals generator (PGPG)。

3.1. Symmetric STN and Parallel SPPE 由人体检测器得到的单人矩形框作为 SPPE的输入不是很合适。这是因为 SPPE 是针对单人图像训练的,对人体定位误差很敏感。实验中发现单人矩形框小的平移或裁剪对SPPE的性能影响很大。我们引入 对称STN+平行 SPPE 来提升SPPE的性能,减少单人矩形框小偏差的影响。

4 Experiments

11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • GTX 1080Ti + cuda8.0 + cuDNN6.0 安装及测试

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/zhangjunhit/article/de...

    用户1148525
  • 人群行为分类数据库--Crowd-11: A Dataset for Fine Grained Crowd Behaviour Analysis

    Crowd-11: A Dataset for Fine Grained Crowd Behaviour Analysis CVPRW2017 这个数据库目...

    用户1148525
  • 二值网络--XNOR-Net: ImageNet Classification Using Binary Convolutional

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.n...

    用户1148525
  • 引用2115次的ATAC经典论文解读

    于2013年发表在nature methods杂志上,引用多达2115次。作为ATAC的开篇之作,在文章中详细介绍了ATAC的原理及应用,分为了以下几个部分

    生信修炼手册
  • CSS行高(line-height)及文本垂直居中原理

    在CSS中,line-height 属性设置两段段文本之间的距离,也就是行高,如果我们把一段文本的line-height设置为父容器的高度就可以实现文本垂直居中...

    Dunizb
  • 美UPS测试无人机运送救命药品

    美国快递行业巨头UPS于2016年5月9日表示,其正与一家无人机公司和全球疫苗免疫联盟(GAVI)合作,共同探索如何使用无人机运送能够救命的药品。 UPS基金会...

    人工智能快报
  • 杨老师课堂之JavaScript右下角广告弹框

    杨校
  • Facebook实时人体姿态估计:Dense Pose及其应用展望

    Facebook 和 Inria France 的研究人员分别在 CVPR 2018 和 ECCV 2018 相继发表了两篇有关「人体姿态估计」(human p...

    机器之心
  • Facebook实时人体姿态估计:Dense Pose及其应用展望

    Facebook 和 Inria France 的研究人员分别在 CVPR 2018 和 ECCV 2018 相继发表了两篇有关「人体姿态估计」(human p...

    机器之心
  • 手撕深度学习算法开讲:先简单撕撕SVM

    说在前面 我们的手撕深度学习算法讲坛终于要开始了。 本次手撕系列的讲师们都来自台湾机器学习读书会,他们是这样一群人: ? 他们的工作甚至跟深度学习没有太相关, ...

    GPUS Lady

扫码关注云+社区

领取腾讯云代金券