京东AI研究院在CVPR 2018 LIP 全球竞赛中荣获两项冠军

2018年6月11日,京东AI研究院计算机视觉与多媒体实验室荣获计算机视觉领域顶级会议CVPR 2018 “Look Into Person” 国际竞赛(以下简称LIP)单人和多人人体姿态估计两个竞赛单元的冠军,以及单人人体姿态解析竞赛单元的亚军。

LIP今年是第二届举行,拥有大规模的人体姿态图像数据库、公平严格的评审标准以及国际性的竞赛影响力。比赛评审专家来自卡内基梅隆大学、加州大学洛杉矶分校、加州大学伯克利分校、约翰霍普金斯大学、新加坡国立大学等著名大学与科研机构。此次比赛吸引了包括美国伊利诺伊大学、俄亥俄州立大学、清华大学、京东AI研究院、今日头条人工智能实验室、中科院、南京大学、东南大学、北京交通大学、北京邮电大学等在内的全球众多高校及科研院所的优秀队伍参赛。除获相应的荣誉奖励外,获得冠军的队伍还将受邀前往在美国盐湖城召开的IEEE CVPR 2018会议现场展示竞赛技术、分享参赛经验。

本次比赛中,单人人体姿态估计竞赛单元的任务是输出单人人体上指定的16个关键点(例如头部、上肢和下肢等)的位置坐标和置信度。针对人体关键点的目标区域较小、难以检测的问题,JD AI 计算机视觉与多媒体实验室的JDAI-Human团队对以往基于多尺度全卷积神经网络的模型(例如Cascading Pyramid Network、Stacked Hourglass、RMPE等)进行改进,使每个卷积核能对图片的细节进行感知,同时输出精度更高的feature map。除此之外,还进行了图片增强、数据扩张,并在后期训练中调整用于hard example mining的关键点类数,使用focal loss损失函数等,使得模型能够更精确地捕捉肢体的细节、以及被遮盖的部分。最终根据各个不同模型的效果进行融合,取得了90.9%的准确度,获得了单人人体姿态估计的冠军,并刷新了该项挑战赛2017年的记录。

图1 JDAI-Human团队在单人人体姿态估计任务中的部分结果展示

多人人体姿态估计竞赛单元是今年刚加入的比赛任务,解决的是对图片中多人的人体关键点位置和置信度的估计问题。该竞赛数据集与流行的COCO人体关键点检测数据集以及MPII数据集相比,更关注多人遮挡等难样例,这也增加了比赛的难度。在本次比赛中,JD AI 计算机视觉与多媒体实验室的JDAI-Human团队针对多人遮挡严重、姿态和视角多样性等特点,优化改进了结合多人检测和单人关键点估计的"top-down"框架,包括:

1)改进了加入金字塔残差模块的stacked hourglass关键点检测模型,使得模型可以更精确地获得人体关键点的局部和全局信息;

2)针对多人遮挡中人体检测框的冗余和不准确,改进了参数化的姿态非极大值抑制器(Parametric Pose NMS);

3)对于难检测和遮挡严重的关键点,采用了优化选择hard keypoints类数和loss权重的策略。

最终改进的模型在多人人体姿态估计竞赛单元中取得了72.2%的准确度,领先第二名2.3%。

图2 JDAI-Human团队在多人人体姿态估计任务中的部分结果展示

京东AI研究院计算机视觉与多媒体实验室在人体行为分析、人脸识别、行人重识别等方面有着深厚的积累。此次参加竞赛的相关技术,将会很快上线到京东AI开发平台NeuHub (http://neuhub.jd.com/)供用户公开调用,并将应用在京东无界零售、无人超市、无人仓库、AR/VR互动营销等多个业务场景中。此外,京东AI平台与研究部正在与合作伙伴在线下门店技术方面进行紧密合作,相信这些顶尖的技术会给门店客户带来更大的商业价值和更好的用户体验。

附录:

Single-Person Human Pose Estimation Track

Multi-Human Pose Estimation Track

Single-Person Human Parsing Track

---------------------END---------------------

下面的内容同样精彩

点击图片即可阅读

京东技术 ∣关注技术的公众号

原文发布于微信公众号 - 京东技术(jingdongjishu)

原文发表时间:2018-06-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏专知

如何搞明白深度学习的算法、理论与计算系统?这一份CMU邢波教授286页全面为你阐述

【导读】如何将深度学习等AI算法应用到实际场景里,不是一件容易的事情。 2016年,卡耐基梅隆大学计算机科学院的终身教授邢波(Eric Xing)在匹兹堡创办了...

813
来自专栏数据科学与人工智能

【机器学习】机器学习大白话

买芒果 嘴馋的你想吃芒果了,于是你走到水果摊,挑了几个让老板过过秤,然后你再根据芒果的斤两付钱走人。 显然,买芒果你当然是挑着最甜、最熟的来买(因为你是根据重量...

2475
来自专栏人工智能头条

Google第二届YouTube-8M视频理解挑战赛开启,模型大小不得超过1GB

2462
来自专栏量子位

训练史上最佳GAN用了512块TPU,一作自述:这不是算法进步,是算力进步

最近,一场“大GAN(BigGAN)”浪潮让机器学习界的行家沸腾了一次。看到这个生成图片质量足以以假乱真的神经网络,网友齐声称赞“算法好棒”。

692
来自专栏大数据挖掘DT机器学习

数据挖掘算法与现实生活中的应用案例

“如何分辨出垃圾邮件”、“如何判断一笔交易是否属于欺诈”、“如何判断红酒的品质和档次”、“扫描王是如何做到文字识别的”、“如何判断佚名的著作是否出自某位名家之手...

3076
来自专栏AI科技大本营的专栏

开讲 | 对抗样本攻击,AI安全专家90分钟聊GAN货

刚刚我们在音频里所提到的,是一年前轰动全球的大事件: 2016年5月7号,在美国的佛罗里达州,一辆特斯拉径直撞上一辆行驶中的白色大货车,酿成了世界上自动驾驶系统...

2075
来自专栏PPV课数据科学社区

数据挖掘与生活:算法分类和应用

相对于武汉,北京的秋来的真是早,九月初的傍晚,就能够感觉到丝丝丝丝丝丝的凉意。 最近两件事挺有感觉的。 看某发布会,设计师李剑叶的话挺让人感动的。“**的设计是...

3955
来自专栏机器之心

学界 | 学术盛宴:微软亚洲研究院CVPR 2017论文分享会全情回顾

机器之心原创 作者:Smith 今年 7 月,世界顶级计算机视觉会议 CVPR(计算机视觉与模式识别会议)将在美国夏威夷举行。在此之前,「微软亚洲研究院创研论坛...

4566
来自专栏AI科技大本营的专栏

知乎全力挺进AI,算法大赛打响反击今日头条的第一枪?

作者 | 周翔 知乎和今日头条,你能想象两者有一天会一言不合就相互 diss 吗? 最近几天,知乎大V@恶魔奶爸的一条朋友圈成了今日头条旗下“悟空问答”和知乎之...

3089
来自专栏目标检测和深度学习

CVPR 2018视频行为识别挑战赛结果出炉:前三名均由国内团队包揽

Moment 是由 MIT-IBM Watson AI Lab 开发的研究项目。该项目致力于构建超大规模数据集来帮助 AI 系统识别和理解视频中的动作和事件。

822

扫码关注云+社区