上交大卢策吾团队 AlphaPose 更新,顶级性能的实时姿态估计

雷锋网 AI 研习社按:今年 2 月,我们报道过上海交通大学卢策吾团队开源 AlphaPose 的消息。

AlphaPose 是一个多人姿态估计系统,具有极高的精准度。据卢策吾团队介绍, AlphaPose 在姿态估计(Pose Estimation)标准测试集 MSCOCO 上达到 72.3 mAP,是首个超过 70 mAP 的开源系统,比 Mask-RCNN 相对提高 8.2%,比 OpenPose(CMU)相对提高 17%。除此之外,在 MPII 排行榜上,AlphaPose 以 6% 的相对优势占据榜首。AlphaPose 基于腾讯优图和卢策吾团队在 ICCV 2017 上发表的分区域多人姿态识别算法(RMPE)。

近日,AlphaPose 迎来一次重大更新。在不损失精度的情况下,他们把识别速度提升到实时。系统采用PyTorch 框架,在姿态估计的标准测试集MSCOCO上,达到 71mAP 的精度,同时,速度达到 20FPS(平均每张图像中有 4. 6 人)。代码支持 Linux 和 Windows。

各开源框架在MSCOCO上的性能,运行在 1080Ti 单卡上

据卢策吾团队介绍,新版 AlphaPose 系统,架设在 PyTorch 框架上,得益于 PyTorch 的灵活性,新系统对用户更加友好,安装使用过程更加简易,也方便进行二次开发。同时,系统支持图片、视频、摄像头输入,实时在线计算出多人的姿态结果。

为了在兼顾速度的同时保持精度,新版 AlphaPose 提出了一个新的姿态估计模型。模型的骨架网络使用 ResNet101,在下采样部分添加 SE 模块作为 attention 模块。除此之外,使用 PixelShuffle 进行3次上采样,输出关键点的热度图,在提高分辨率的同时,保持特征信息不丢失,技术论文会在近期公布。

另一方面,卢策吾本人在知乎上表示,「alphapose 系统接下来计划上线 3D pose,密集人群 pose,超轻量级 pose,pose-action 联合预测模块,等等,每一个模块一般会对应一篇学术论文。MVIG 团队会持续优化速度,精度。希望能像 Yolo 一样持续更新成为一个对大家有用的系统。学术上,有新的算法第一时间更新,并投稿顶级会议。工程上,也会做到方便二次开发。」从这样的路线图可以看到,AlphaPose 目标是成为一个对学界、业界都开放、有用的代码库,我们也非常期待 AlphaPose 的未来更新。

项目链接:

https://github.com/MVIG-SJTU/AlphaPose/tree/pytorch

项目主页:

http://www.mvig.org/research/alphapose.html

ICCV 2017 RMPE论文链接:

http://cn.arxiv.org/abs/1612.00137

人体关键点检测对于描述人体姿态,预测人体行为至关重要。因此人体关键点检测是诸多计算机视觉任务的基础。其在动作分类,异常行为检测,以及人机交互等领域有着很广阔的应用前景,是计算机视觉领域中一个既具有研究价值、同时又极具挑战性的热门课题。

卢策吾:上海交通大学研究员,博士生导师。主要从事计算机视觉与深度学习相关研究,入选国家「青年千人」计划,原斯坦福 AI Lab 博士后研究员(导师:Fei-Fei Li 和 Leo Guibas),为斯坦福-丰田无人车重要研究人员之一。

原文发布于微信公众号 - AI研习社(okweiwu)

原文发表时间:2018-09-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技大本营的专栏

《自然》杂志医疗AI领域最新成果系列二:关于皮肤患者的AI解决方式

图片来源:CDAPEX 编译 | Ziqi Zhang 编辑 | Donna 【AI科技大本营导读】澳大利亚阿德莱德大学的在读医学博士生、放射线学专家Luke...

38860
来自专栏IT派

NLP之Wrod2Vec三部曲

N o . 1 基础篇 一.前言 伴随着深度学习的大红大紫,只要是在自己的成果里打上deep learning字样,总会有人去看。深度学习可以称为当今机器学习...

35450
来自专栏人工智能快报

英特尔研究员展望人工智能与高性能计算的融合

2017年7月31日,高性能计算领域专业媒体HPCwire发表文章,介绍了英特尔研究人员对人工智能与高性能计算结合的技术展望。 将适应于特定问题的深层神经网络扩...

36970
来自专栏大数据文摘

牛!谷歌向量空间法:图片译成文字

38580
来自专栏量子位

卸载美图秀秀吧,谷歌和MIT用机器学习帮你在拍照前修图

安妮 编译自 The Verge 量子位出品 | 公众号 QbitAI 你去票圈发照片的时候肯定也先修修图。少则几秒加个滤镜,多则数十分钟精修一下美美颜。 以后...

35760
来自专栏大数据文摘

OpenAI Dota2 5v5模式击败人类,AI每天训练量抵人类180年

今天凌晨,OpenAI通过官方博客宣布了其在Dota对抗上的新进展——由五个神经网络组成的团战AI团队,在5v5中击败了业余人类玩家,并表示,将有望挑战顶级专业...

16230
来自专栏新智元

AI并不需要互联网:利用有性生殖,合成更多样、紧凑的神经网络

来源:uwaterloo.ca 作者:闻菲 【新智元导读】滑铁卢大学的研究人员,借鉴有性生殖让后代更能适应环境的道理,在虚拟环境中让神经网络完成“交配仪式”,同...

33740
来自专栏玉树芝兰

如何有效沟通你的机器学习结果?

他说,许多人跑模型,跑出来一个比别人都高的准确率,于是就觉得任务完成了。他自己做健康信息研究,通过各种特征判定病人是否需要住院治疗。很容易就可以构建一个模型,获...

10150
来自专栏量子位

我在谷歌大脑这一年

问耕 编译整理 量子位 出品 | 公众号 QbitAI ? 这篇文章的原作者是Colin Raffel。他2016年于哥伦比亚大学获得电子工程博士学位,随后入选...

32440
来自专栏机器人网

中科院发布寒武纪深度神经网络处理器是什么?

第三届世界互联网大会于2016年11月16日在浙江乌镇召开,并举办了领先科技成果发布会。其中中国最引人注目的就是中国科学院计算技术研究所发布了寒武纪深度神经网络...

316100

扫码关注云+社区

领取腾讯云代金券