上交大卢策吾团队开源 AlphaPose， 在 MSCOCO 上稳超 Mask-RCNN 8 个百分点
上交大卢策吾团队开源 AlphaPose， 在 MSCOCO 上稳超 Mask-RCNN 8 个百分点
I 研习社消息，日前，上海交通大学卢策吾团队开源 AlphaPose。AlphaPose 是一个多人姿态估计系统，具有极高的精准度。
据卢策吾团队介绍， AlphaPose 在姿态估计（Pose Estimation）标准测试集 MSCOCO 上比 Mask-RCNN 相对提高 8.2%，比 OpenPose（CMU）相对提高 17%。除此之外，在 MPII 排行榜上，AlphaPose 以 6% 的相对优势占据榜首。
卢策吾：上海交通大学研究员，博士生导师。主要从事计算机视觉与深度学习相关研究，入选国家「青年千人」计划，原斯坦福 AI Lab 博士后研究员（导师：Fei-Fei Li 和 Leo Guibas），为斯坦福-丰田无人车重要研究人员之一。
AlphaPose 是基于腾讯优图和卢策吾团队在 ICCV 2017 上的分区域多人姿态识别算法（RMPE），该算法主要为了解决在人物检测结果不准的情况下进行稳定的多人姿态识别问题。雷锋网 AI 科技评论之前对该算法有过介绍：
综合利用了对称性空间迁移网络（Symmetric Spatial Transformer Network）和单人姿态估计算法，从而摆脱了多人姿态识别任务对人物检测准确性的依赖，并且进一步通过参数化的人物姿态表达对识别结果进行了优化。根据在公开数据集MPII上的测试结果，该算法相较CMU提出的OpenPose算法提升了1个百分点，尤其是对手肘、手腕、膝盖、脚踝等细小关键点的改善尤为明显。
据 AI 研习社了解，AlphaPose 是第一个在 COCO 数据集上的 mAP 超过 70 (72.3 mAP)，在 MPII 数据集上的 mAP 超过 80 (82.1 mAP) 的开源系统。
据悉，该系统目前有两个应用：
- 一是视频姿态跟踪（Pose Tracking）。为了匹配同一个人在不同帧中的姿态，他们开源了一个高效的线上姿态跟踪器（Pose Tracker）——Pose Flow。Pose Flow 是第一个在 PoseTrack Challenge 数据集上的 mAP 超过 60 (66.5 mAP) 、MOTA 超过50 (58.3 MOTA) 的线上开源姿态跟踪器（Pose Tracker）。 论文：Pose Flow: Efficient Online Pose Tracking
- 二是视觉副词识别（Visual Adverb Recognition）。他们提出对视觉副词进行研究，提供了新的 ADHA 数据集，以及一个基于该姿态估计系统的算法。不过准确率目前较低。 论文：Human Action Adverb Recognition: ADHA Dataset and Four-Stream Hybrid Model
结果展示
下图为 AlphaPose 姿态估计的效果：
在 COCO test-dev 2015 上的得分如下：
在 MPII 测试全集上的得分如下：
下图是姿态跟踪的效果：
在 PoseTrack Challenge 验证集上的效果如下：
任务 2：多人姿态估计(mAP)
任务 3：姿态跟踪(MOTA)
据悉，他们将很快公开姿态跟踪的代码，AI 研习社也会第一时间关注。
via：
GitHub：https://github.com/MVIG-SJTU/AlphaPose