CVPR 2024 Workshop | 两个超高难度视频分割挑战赛正式启动，数据集开放下载！

关注公众号，发现CV技术之美

复杂场景视频目标分割挑战赛（MOSE Challenge）：

• 主页：https://henghuiding.github.io/MOSE/ChallengeCVPR2024
• 参赛、数据集下载：https://codalab.lisn.upsaclay.fr/competitions/10703

基于动作描述的指向性视频分割挑战赛（MeViS Challenge）：

• 主页：https://henghuiding.github.io/MeViS/ChallengeCVPR2024
• 参赛、数据集下载：https://codalab.lisn.upsaclay.fr/competitions/15094

大赛简介

近年来，随着移动计算机的性能不断增强，视频已经成为最重要的数据模态之一，其承载着不计其数的现实应用，如自动驾驶、视频电话、视频直播等等。因此，如何让计算机对视频有更深入的理解也变得越发重要。其中，像素级视频理解任务，如视频目标分割（VOS）和语言指向性目标分割（RVOS），均为视频理解领域最重要的研究课题。目前，现有的机器学习方法已经能够处理很多场景下的分割问题，也能够将视频与简单的文本信息进行联合理解。然而，这些课题仍然面临很多挑战，如背景的复杂性、目标的遮挡和消失重现、对描述动作的文本的理解等。现有的许多算法在应对这些复杂情况时仍然存在不足[1,2]，因此需要更为先进和稳定的解决方案。

为了应对这些挑战，来自复旦大学、南洋理工大学、牛津大学、字节跳动的研究者在CVPR 2024 设立了复杂场景视频目标分割挑战赛（MOSE Challenge）和基于动作描述的指向性视频分割挑战赛（MeViS Challenge）。在两个挑战赛中，主办方采集了目前最大规模的复杂场景视频目标分割数据集Complex Video Object Segmentation (MOSE) [1] 和基于动作描述的视频分割Motion Expression Video Segmentation (MeViS) [2]。两个数据集均针对两个任务中亟需解决的问题，包含大量的高难度且贴近现实的样本，对视频理解机器学习方法提出挑战。

目前，两个挑战赛的数据集均已开放下载，测试提交入口也已开放，欢迎参赛者自由测试各种方法。

复杂场景视频目标分割挑战赛（MOSE）

首届MOSE（复杂场景视频目标分割）挑战赛将于CVPR2024 上举行。本次挑战赛聚焦于复杂环境下的视频目标分割问题，旨在推动这一领域的研究与应用。

本次大聚焦于配套的MOSE数据集 [1] 。该大规模数据集包含2149个视频片段和5200个目标，共有431,725个高质量的目标分割掩码。视频分辨率为1920×1080，视频长度从5秒到60秒不等。

MOSE数据集的显著特点是其复杂的场景，包括目标的消失和重现、不显眼的小物体、严重的遮挡以及拥挤的环境等。

• 数据集主页：https://henghuiding.github.io/MOSE/
• 参赛网站：https://codalab.lisn.upsaclay.fr/competitions/10703
• 数据集下载：https://codalab.lisn.upsaclay.fr/competitions/10703#participate
• 数据集api代码：https://github.com/henghuiding/MOSE-api

基于动作描述的指向性视频分割挑战赛（MeViS）

首届MeViS（基于动作描述的指向性视频分割）挑战赛也将在CVPR2024上举行。

本次挑战赛的重点是基于动作描述的指向性视频分割，即根据描述物体运动的句子来识别并分割视频内容中的目标物体。

MeViS数据集 [2] 是此次比赛的重要组成部分，包含2006个视频片段和443,000个高质量的目标分割掩码，共有28,570句描述8,171个复杂环境下物体运动的句子。

• 数据集主页：https://henghuiding.github.io/MeViS/
• 参赛网站：https://codalab.lisn.upsaclay.fr/competitions/15094
• 数据集下载：https://codalab.lisn.upsaclay.fr/competitions/15094#participateBaseline
• 代码：https://github.com/henghuiding/MeViS

参赛信息

两个挑战赛均在平台CodaLab上举办。参赛者可以下载数据集至本地，训练测试后将结果提交至赛事平台进行评估。目前，两个挑战赛的数据集均已开放下载，提交入口也已开放，欢迎来自全社会的个人和团队自由测试各种方法。

测试集提交入口开放时间为 5月15日至5月25日。最终比赛结果将于5月30日公布，两个挑战赛的冠军都将会被邀请在6月17日下午的CVPR 2024 PVUW Workshop上汇报展示。

[1] MOSE: A New Dataset for Video Object Segmentation in Complex Scenes. ICCV 2023 [2] MeViS: A Large-scale Benchmark for Video Segmentation with Motion Expressions. ICCV 2023