2018 COCO 竞赛中国团队包揽所有冠军，旷视 4 项第一！

新智元报道

来源：ECCV 2018

编辑：肖琴，闻菲

【新智元导读】计算机视觉界的顶级竞赛之一MS COCO 2018年结果最新出炉，在实例分割、全景分割、人体关键点检测、DensePose以及今年最新的街景检测和分割任务中，全部6项冠军均由中国团队包揽。其中，旷视获得了4项冠军（含1项并列第一），来自北邮和滴滴的团队分别获得1项冠军。微软亚洲研究院获得1项亚军，北京大学和360组成的团队也获得了1项亚军。

2018年最受关注的计算机视觉挑战赛是什么？

COCO！

MS COCO 的全称是常见物体图像识别（Microsoft Common Objects in Context），起源于是微软于2014年出资标注的Microsoft COCO数据集，同名竞赛与此前著名的 ImageNet 竞赛一样，被视为是计算机视觉领域最受关注和最权威的比赛之一。

而在ImageNet竞赛停办后，COCO竞赛就成为是当前物体识别、检测等领域的一个最权威、最重要的标杆，也是目前该领域在国际上唯一能汇集Google、微软、Facebook 以及国内外众多顶尖院校和优秀创新企业共同参与的大赛。

刚刚，ECCV官网上发布了2018年最新COCO竞赛的结果：

在物体检测、全景分割、人体关键点检测、DensePose以及2018年最新提出的Mapillary街景检测（Mapillary Detction）和街景全景分割（Mapillary Panoptic）6项任务中，中国的团队包揽了所有的冠军！

根据ECCV COCO Workshop的日程表，我们可以发现：

• 旷视团队（Megvii）获得了4项冠军：实例分割（并列第一）、全景分割、人体关键点检测，以及Mapillary街景全景分割；
• 北京邮电大学自动化学院模式识别与测控技术实验室（BUTP-PRIV）获得了DensePose任务的冠军；
• 滴滴团队（DiDi Map Vision）获得了Mapillary街景检测冠军。

不仅如此，其他中国团队也斩获了出色的结果：

• 微软亚洲研究院团队（MSRA）获得了人体关键点检测亚军；
• 北京大学和360组成的团队（PKU_360）获得了全景分割任务的亚军。

MS COCO 2018，当之无愧是中国计算机视觉团队称霸的一年！

COCO 挑战赛：ImageNet 后最权威的计算机视觉衡量标杆

今年的COCO竞赛与ECCV 2018一同举办，而且新增了两项街景识别的新任务——Mapillary Vistas，这是是新近推出的街景集图像数据集，专注于图像的高阶语义理解，推动自动驾驶和机器人导航等领域的技术落地。在数据集和应用任务方面，两者有很多不同，而后者对前者起补足作用。通常来讲，COCO 是自然场景下的物体识别，Mapillary 则聚焦于街景场景识别，因此联合挑战赛的形式有利于计算机视觉技术更贴近现实场景，更具应用价值。

COCO 是一个旨在促进目标检测研究的图像数据集，重点关注检测上下文中的目标。COCO 的注释包括 80 个类别对象的实例分割，91 个类别的物品分割，人物实例的关键点检测，以及每个图像都有 5 个图像标题（image captions）。

自 2015 年首届挑战赛以来，COCO 赛项数量不断更新，评估标准也更加复杂；COCO 2018 相较往年又有改变。在检测方面，实例分割近年在 COCO 上大为流行，今年，COCO 和 Mapillary 都有此赛项；随着检测技术走向饱和，COCO 去掉了边界框检测这一赛项，但成绩依然出现在榜单上。

另外一个变动是新增了 DensePose 和 Panoptic Segmentation 两个赛项。Panoptic Segmentation 同时解决一张图像上前景物体与背景物体的分类问题，把互为分裂的语义分割和实例分割整合为一，推动分割技术步入新境界，不断逼近现实应用。COCO 和 Mapillary 也都有此赛项。

COCO 2018 挑战赛的具体任务包括：(1) 利用分割掩模进行目标检测（实例分割），(2) 全景分割，(3) 人体关键点检测，(4)DensePose。

1、COCO 实例分割任务

COCO 目标检测任务（Object Detection Task）旨在推动目标检测领域的先进技术。COCO 2018 挑战中只出现具有对象分割输出的检测任务。

随着近年来物体检测技术已经成熟，COCO 不再以边界框检测任务为主。虽然 leaderboard 仍保持开放，但边界框检测任务不是 workshop challenge；相反，竞赛鼓励研究人员专注于更具挑战性和视觉信息的实例分割任务。

2、COCO 全景分割任务

COCO 全景分割任务（Panoptic Segmentation Task）的目标是推进场景分割的最新技术水平。全景分割需处理物体类和事件类，统一了两种典型的语义和实例分割任务。“全景”（panoptic）的定义是指 “包括一个视图中可见的所有内容”，即一个统一的、全局的分割视图。

3、COCO 人体关键点检测任务

COCO 人体关键点检测任务需要在具有挑战性、不受控制的条件下定位人物的关键点（person keypoints）。关键点检测任务涉及同时检测并定位人物的关键点（在测试时没有给出人的位置）。

4、COCO DensePose 任务

COCO DensePose 任务需要在具有挑战性，不受控制的条件下定位密集的人物关键点。DensePose 任务涉及同时检测和定位人的密集关键点，将所有人物像素映射到人体的 3D 表面。

Mapillary Vistas挑战赛：2018年新加入的自动驾驶类任务

随着计算机视觉技术的不断进步，今年，Mapillary Research也加入了COCO竞赛，并提供了Mapillary Vistas数据集。Vistas是一个多样化的、像素精确的街道级图像数据集，用于在全球范围内增强自动驾驶能力。

Mapillary Vistas 数据集的设计和收集涵盖了外观的多样性、注释细节的丰富性和广阔的地理范围。相关竞赛的难点和要点在于把互为分裂的语义分割和实例分割整合为一，推动分割技术步入新境界，不断逼近现实应用。

Mapillary Challenges基于公开的Vistas Research数据集，其特点是：

• 28个stuff类，37个thing类，以及1个void类
• 25K高分辨率图像
• 地理范围覆盖全球，包括北美和南美、欧洲、非洲、亚洲和大洋洲
• 非常多样的天气条件（阳光、雨、雪、雾、雾）和捕获时间（黎明、白天、黄昏、夜晚）
• 广泛的相机传感器，不同的焦距，图像宽高比和不同类型的相机噪音
• 不同的捕捉视角（道路、人行道、公路外）

基于Mapillary Vistas数据集的竞赛任务包括：(1)目标检测和分割掩码（实例分割）；(2)全景分割（panoptic segmentation），分别对应COCO的检测和全景分割任务。

1、Mapillary Vistas目标检测任务

Mapillary Vistas目标检测任务强调识别静态的街道图像对象（如路灯、路标，电线杆）的个体实例，以及动态的街道参与者（如汽车、行人、骑自行车的人）。这项任务旨在推动最先进的实例分割，针对汽车或运输机器人等自动驾驶应用的关键感知任务。

2、Mapillary Vistas全景分割任务

Mapillary Vistas Panoptic分割任务针对街景图像中的完整感知区域。全景分割需要同时处理stuff 类和thing类，统一了典型的不同语义和实例分割任务。

COCO 2017竞赛结果：中国团队刷榜，超越谷歌、Facebook

回过头去看2017年的COCO 竞赛的结果，当时是在ICCV 2017 “Joint COCO and Places Recognition Challenge Workshop” 公布。

当时，微软、Facebook、谷歌、商汤、旷视等企业，以及卡内基梅隆大学、北京大学、中国香港中文大学、上海交通大学等高校纷纷参与，竞争激烈。

在侧重对物体的理解的传统4大任务中：

• 物体检测（边界框 BBox）：旷视研究院团队第一，港中文&北大团队 UCenter 第二，微软亚洲研究院（MSRA）团队与来自 FAIR 的团队分别获得第三、第四
• 语义分割（Segmentation）：港中文&北大团队 UCenter 第一，旷视研究院团队第二，FAIR 和 MSRA 分别获得第三、第四
• 人体关键点检测：旷视研究院第一，北航&商汤团队 OKS 第二
• 背景语义分割（Stuff Challenge）：FAIR 团队第一，牛津视觉实验室第二

2017年的COCO 还联合举办了 Places 2017 这项侧重对场景理解的挑战赛，分为3个子任务：

Places 分为场景分割、物体分割和边缘检测三项任务。其中，物体分割（Instance Segmentation）任务，旷视击败了谷歌，赢得了冠军。

根据 Workshop 官方介绍，在 Places 环节受邀发表演讲的是来自谷歌（G-RMI）、今日头条（WinterIsComing，ByteDance）和中科院自动化所与京东合作的团队（CASIA_IVA_JD）。这无疑是后两个团队在 Places 2017 竞赛中取得好成绩的证明。