京东AI研究院在CVPR 2018 LIP 全球竞赛中荣获两项冠军

2018年6月11日,京东AI研究院计算机视觉与多媒体实验室荣获计算机视觉领域顶级会议CVPR 2018 “Look Into Person” 国际竞赛(以下简称LIP)单人和多人人体姿态估计两个竞赛单元的冠军,以及单人人体姿态解析竞赛单元的亚军。

LIP今年是第二届举行,拥有大规模的人体姿态图像数据库、公平严格的评审标准以及国际性的竞赛影响力。比赛评审专家来自卡内基梅隆大学、加州大学洛杉矶分校、加州大学伯克利分校、约翰霍普金斯大学、新加坡国立大学等著名大学与科研机构。此次比赛吸引了包括美国伊利诺伊大学、俄亥俄州立大学、清华大学、京东AI研究院、今日头条人工智能实验室、中科院、南京大学、东南大学、北京交通大学、北京邮电大学等在内的全球众多高校及科研院所的优秀队伍参赛。除获相应的荣誉奖励外,获得冠军的队伍还将受邀前往在美国盐湖城召开的IEEE CVPR 2018会议现场展示竞赛技术、分享参赛经验。

本次比赛中,单人人体姿态估计竞赛单元的任务是输出单人人体上指定的16个关键点(例如头部、上肢和下肢等)的位置坐标和置信度。针对人体关键点的目标区域较小、难以检测的问题,JD AI 计算机视觉与多媒体实验室的JDAI-Human团队对以往基于多尺度全卷积神经网络的模型(例如Cascading Pyramid Network、Stacked Hourglass、RMPE等)进行改进,使每个卷积核能对图片的细节进行感知,同时输出精度更高的feature map。除此之外,还进行了图片增强、数据扩张,并在后期训练中调整用于hard example mining的关键点类数,使用focal loss损失函数等,使得模型能够更精确地捕捉肢体的细节、以及被遮盖的部分。最终根据各个不同模型的效果进行融合,取得了90.9%的准确度,获得了单人人体姿态估计的冠军,并刷新了该项挑战赛2017年的记录。

图1 JDAI-Human团队在单人人体姿态估计任务中的部分结果展示

多人人体姿态估计竞赛单元是今年刚加入的比赛任务,解决的是对图片中多人的人体关键点位置和置信度的估计问题。该竞赛数据集与流行的COCO人体关键点检测数据集以及MPII数据集相比,更关注多人遮挡等难样例,这也增加了比赛的难度。在本次比赛中,JD AI 计算机视觉与多媒体实验室的JDAI-Human团队针对多人遮挡严重、姿态和视角多样性等特点,优化改进了结合多人检测和单人关键点估计的"top-down"框架,包括:

1)改进了加入金字塔残差模块的stacked hourglass关键点检测模型,使得模型可以更精确地获得人体关键点的局部和全局信息;

2)针对多人遮挡中人体检测框的冗余和不准确,改进了参数化的姿态非极大值抑制器(Parametric Pose NMS);

3)对于难检测和遮挡严重的关键点,采用了优化选择hard keypoints类数和loss权重的策略。

最终改进的模型在多人人体姿态估计竞赛单元中取得了72.2%的准确度,领先第二名2.3%。

图2 JDAI-Human团队在多人人体姿态估计任务中的部分结果展示

京东AI研究院计算机视觉与多媒体实验室在人体行为分析、人脸识别、行人重识别等方面有着深厚的积累。此次参加竞赛的相关技术,将会很快上线到京东AI开发平台NeuHub (http://neuhub.jd.com/)供用户公开调用,并将应用在京东无界零售、无人超市、无人仓库、AR/VR互动营销等多个业务场景中。此外,京东AI平台与研究部正在与合作伙伴在线下门店技术方面进行紧密合作,相信这些顶尖的技术会给门店客户带来更大的商业价值和更好的用户体验。

附录:

Single-Person Human Pose Estimation Track

Multi-Human Pose Estimation Track

Single-Person Human Parsing Track

---------------------END---------------------

下面的内容同样精彩

点击图片即可阅读

京东技术 ∣关注技术的公众号

原文发布于微信公众号 - 京东技术(jingdongjishu)

原文发表时间:2018-06-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ATYUN订阅号

AI算法可以通过声音片段分辨出鸟类

由于伐木,农业和气候变化,鸟类数量急剧下降。科学家通过记录他们的呼叫来跟踪物种,但即使是最好的计算机程序也无法可靠地区分鸟类呼叫和其他声音。而现在,由于众包和人...

994
来自专栏新智元

【伪科学争议】谷歌研究员两万字批驳上交大用深度学习推断犯罪分子

【新智元导读】 不久前, 上海交通大学的两位研究者发布了一项题为“利用脸部照片自动推断犯罪性”的研究,利用基于有监督的机器学习的方法,根据人的脸部特征预测一个人...

3605
来自专栏专知

【NIPS2017】深度学习真的不需要理论指导了?图灵奖得主讲座无人问津,贝叶斯之父Judea Pearl落寞身影背后引人深思

【导读】最近NIPS 2017 "Test of Time"论文大奖获得者Ali Rahimi 在长滩现场的演讲中把机器学习称为“炼金术”(Alchemy)引起...

3567
来自专栏大数据挖掘DT机器学习

写给数据分析的初学者

在QQ群里听到一些网友在讨论数据分析的话题。有人正为自己学会了spss而高兴,有人说自己还略懂sas,还有人提到了sql查询语言。大家都在积极地学习,希望能在数...

3475
来自专栏腾讯高校合作

犀牛鸟人物丨专访刘偲老师:图像之美像素级语义理解研究

2113
来自专栏专知

【微软亚研130PPT教程】强化学习简介

【导读】近年来,强化学习特别是深度强化学习在棋类、视屏游戏、机器人控制等问题上取得了极大的成功,成为人工智能研究的热点。 微软亚洲研究院的秦涛研究员在报告《强化...

1473
来自专栏数据的力量

【涂鸦板】好玩的百度预测

1725
来自专栏AI科技评论

观点 | 玩转「马里奥」的算法能搞定「口袋妖怪」吗?

AI 科技评论:现在机器人玩游戏的水平甚至已经超过了人类,然而对于不同的游戏,一个算法是否全部搞定呢?软件开发者 Shayaan Jagtap 就以「马里奥」这...

822
来自专栏大数据文摘

AI教父Geoff Hinton和深度学习的40年

因为伤了背,Geoff Hinton已经站着工作了12年,似乎巧合地迎合了现在“站立工作”的这股风潮。

1002
来自专栏新智元

NIPS2018大会门票遭疯抢!11分钟秒光,刷个牙就没了

昨天,神经信息处理系统大会(Neural Information Processing Systems,NIPS)开放注册,会议门票在短短11分钟内就售罄;半小...

1932

扫码关注云+社区