动作检测/定位/解析三大赛道！ICCV 2021 DeeperAction挑战赛来了
动作检测/定位/解析三大赛道！ICCV 2021 DeeperAction挑战赛来了
点击下方卡片，关注“CVer”公众号
AI/CV重磅干货，第一时间送达
本次 ICCV 2021的DeeperAction挑战赛旨在推动人类动作理解领域研究从传统的动作识别转向更深入的动作理解任务，希望模型能够在不同视频中对人类动作的进行定位和详细理解。具体来说，组织者提出了三个基于不同任务下的具有高质量标注的视频数据集，并在此基础上组织了针对动作理解任务的三个赛道的挑战赛，欢迎大家踊跃参赛！
比赛时间：2021年6月1日 – 2021年9月10日
2021-06-01 ～ 2021-09-01 训练阶段 2021-09-01 ～ 2021-09-10 测试阶段 2021-09-15 获奖名单公布 2021-09-30 方法技术报告提交截止 2021-10-11 研讨会
组织单位：
- 南京大学
- 中国科学院深圳先进技术研究院
- 上海人工智能实验室
- 商汤科技
挑战赛主页：
https://deeperaction.github.io/
Track 1：FineAction挑战赛：时序动作定位
FineAction数据集视频样例
论文链接：https://arxiv.org/abs/2105.11107 数据集主页：
https://deeperaction.github.io/fineaction/
赛道简介链接：
https://competitions.codalab.org/competitions/32363
当前，大部分动作定位数据集仅对行为进行粗略定义，如ActivityNet中的篮球训练（Layup drill in basketball）并未被拆分成扣篮或投篮这样更为精细的动作类别。然而，粗糙的动作类别往往与上下文背景高度相似，造成标注动作的时序界限不清晰。
为了填补这一空缺，组织者提出了FineAction这一新基准，包含近 17K 个未修剪视频，139K个精细动作时序标注，为 106 个动作类别进行了更明确的动作类别定义和更精确的时序标注。该数据集的构建，为精细化时序动作定位的研究带来新的挑战与机遇。
Track 2：MultiSports挑战赛：时空动作检测
MultiSports数据集视频样例
论文链接：https://arxiv.org/abs/2105.07404
数据集主页：
https://deeperaction.github.io/multisports/
赛道简介：
https://competitions.codalab.org/competitions/32066
当前时空动作检测基准主要分为两类：一类是以J-HMBD和UCF101-24为代表的稠密标注的高度抽象动作数据集，这些数据集中往往是单人重复一些简单动作；另一类是以AVA和DALY为代表的稀疏标注的数据集，这些数据集中的动作缺少明确的边界，对于建模快速动作来说不太合适。
为了推动时空动作检测研究，组织者提出了MultiSports这一新基准。这一数据集有着25fps稠密标注，且数据集规模大，有大量多人同时运动场景和明确的动作界限，部分动作（如足球的“pass”和“long ball”）需要较长的时序背景才能进行区分，这也对时空动作检测模型提出了更高的要求。
Track 3：Kinetics-TPS挑战赛：基于人体部位中层语义的视频行为解析
Kinetics-TPS数据集视频样例
数据集主页：
https://deeperaction.github.io/kineticstps/
赛道简介：
https://competitions.codalab.org/competitions/32360
传统的动作识别往往被视为高层语义的视频分类任务（例如：Kinetics400，ActivityNet等），然而这些视频数据集忽视了对人类行为动作的细节以及中层语义信息的理解。
为了填补这一空缺，我们提出了Kinetics-TPS这一全新数据集。与现有数据集不同，本数据集（共24 个人类行为类别）提供了视频帧级别的身体部位标注，包括身体10个部位的7.9M个标注，7.9M个部位状态（即身体部位如何移动），以及0.5M个交互物体，这为更为细致的视频行为理解提供可能。