上交大卢策吾团队开源 AlphaPose, 在 MSCOCO 上稳超 Mask-RCNN 8 个百分点

I 研习社消息,日前,上海交通大学卢策吾团队开源 AlphaPose。AlphaPose 是一个多人姿态估计系统,具有极高的精准度。

据卢策吾团队介绍, AlphaPose 在姿态估计(Pose Estimation)标准测试集 MSCOCO 上比 Mask-RCNN 相对提高 8.2%,比 OpenPose(CMU)相对提高 17%。除此之外,在 MPII 排行榜上,AlphaPose 以 6% 的相对优势占据榜首。

卢策吾:上海交通大学研究员,博士生导师。主要从事计算机视觉与深度学习相关研究,入选国家「青年千人」计划,原斯坦福 AI Lab 博士后研究员(导师:Fei-Fei Li 和 Leo Guibas),为斯坦福-丰田无人车重要研究人员之一。

AlphaPose 是基于腾讯优图和卢策吾团队在 ICCV 2017 上的分区域多人姿态识别算法(RMPE),该算法主要为了解决在人物检测结果不准的情况下进行稳定的多人姿态识别问题。雷锋网 AI 科技评论之前对该算法有过介绍:

综合利用了对称性空间迁移网络(Symmetric Spatial Transformer Network)和单人姿态估计算法,从而摆脱了多人姿态识别任务对人物检测准确性的依赖,并且进一步通过参数化的人物姿态表达对识别结果进行了优化。根据在公开数据集MPII上的测试结果,该算法相较CMU提出的OpenPose算法提升了1个百分点,尤其是对手肘、手腕、膝盖、脚踝等细小关键点的改善尤为明显。

据 AI 研习社了解,AlphaPose 是第一个在 COCO 数据集上的 mAP 超过 70 (72.3 mAP),在 MPII 数据集上的 mAP 超过 80 (82.1 mAP) 的开源系统。

据悉,该系统目前有两个应用:

  • 一是视频姿态跟踪(Pose Tracking)。为了匹配同一个人在不同帧中的姿态,他们开源了一个高效的线上姿态跟踪器(Pose Tracker)——Pose Flow。Pose Flow 是第一个在 PoseTrack Challenge 数据集上的 mAP 超过 60 (66.5 mAP) 、MOTA 超过50 (58.3 MOTA) 的线上开源姿态跟踪器(Pose Tracker)。 论文:Pose Flow: Efficient Online Pose Tracking
  • 二是视觉副词识别(Visual Adverb Recognition)。他们提出对视觉副词进行研究,提供了新的 ADHA 数据集,以及一个基于该姿态估计系统的算法。不过准确率目前较低。 论文:Human Action Adverb Recognition: ADHA Dataset and Four-Stream Hybrid Model

结果展示

下图为 AlphaPose 姿态估计的效果:

在 COCO test-dev 2015 上的得分如下:

在 MPII 测试全集上的得分如下:

下图是姿态跟踪的效果:

在 PoseTrack Challenge 验证集上的效果如下:

任务 2:多人姿态估计(mAP)

任务 3:姿态跟踪(MOTA)

据悉,他们将很快公开姿态跟踪的代码,AI 研习社也会第一时间关注。

via:

GitHub:https://github.com/MVIG-SJTU/AlphaPose

本文分享自微信公众号 - AI研习社(okweiwu)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-02-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏量子位

20年前的吴恩达,藏在一个数据集里

今天这张照片火了。连正主吴恩达都在推特上转发了这张黑白照片。吴恩达回忆说,这张照片拍摄于大概20年前~

9740
来自专栏量子位

Hinton反思新作:我说反向传播不好,但还是没谁能颠覆它

15530
来自专栏人工智能头条

想学AI?没那么简单、但也没那么难!(内附技术图谱)

11740
来自专栏新智元

【大神Hinton】深度学习要另起炉灶,彻底抛弃反向传播

【新智元导读】 Hinton在接受 Axios 网站采访时表示,他现在对反向传播算法“深感怀疑”。反向传播算法是我们今天在AI领域所看到的进步的“主力”,包括对...

29450
来自专栏AI科技评论

SQuAD2.0来了!现在这里有了机器「无法回答的问题」

AI 科技评论按:斯坦福大学 NLP 组(Stanford NLP Group)昨晚发出公告,文本理解挑战赛 & 数据集 SQuAD 升级为 SQuAD 2.0...

48020
来自专栏机器之心

深度 | Vicarious详解新型图式网络:赋予强化学习泛化能力

选自Vicarious 机器之心编译 近日,人工智能初创公司 Vicarious 在官网了发表了一篇名为《General Game Playing with S...

40070
来自专栏AI科技大本营的专栏

22岁复旦大学生拿下深度学习挑战赛冠军:明明可以靠脸吃饭,却偏偏要靠才华

复旦大学Hengduo Li 编译 | AI科技大本营 参与 | 尚岩奇、周翔 近日,人工智能行车记录仪应用公司 Nexar 公布了第二届挑战赛的结果,其中,来...

36080
来自专栏机器之心

学界 | Petuum新研究助力临床决策:使用深度学习预测出院用药

Petuum 专栏 作者:Yuan Yang、Pengtao Xie、Xin Gao、Carol Cheng、Christy Li、Hongbao Zhang、...

418110
来自专栏新智元

姿态估计相比Mask-RCNN提高8.2%,上海交大卢策吾团队开源AlphaPose

作者:卢策吾 【新智元导读】上海交通大学卢策吾团队,今日开源AlphaPose系统。该系统在姿态估计(pose estimation)的标准测试集COCO上较现...

412110
来自专栏PPV课数据科学社区

符号、联结、贝叶斯,人工智能的17种武林门派

闲逛Twitter的时候,发现一篇来自内容发行平台Medium的文章《The Many Tribes of Artificial Intelligence(多种...

48890

扫码关注云+社区

领取腾讯云代金券