清华&美图开源大规模视频分析数据集：含11827条视频，共476个小时 | CVPR 19

安妮 发自 凹非寺 量子位 出品 | 公众号 QbitAI

不用再担心视频分析数据集视频小、场景少和没标注的问题了，一个大规模视频分析数据集来了↓↓↓

现在，清华大学和美图开源了教程类行为视频数据集COIN（COmprehensive INstructional video analysis），内含11827条教程类视频，涉及日常生活12个领域里的180个任务的视频内容。

所谓教程类视频，一般都集中在美食、美妆和家装DIY等领域。比如，美妆博主教你化妆、美食博主教你做披萨，都属于教程类视频的范畴。

美图表示，COIN为业界规模最大、最多样性的教程类视频数据集。

以后，在复杂场景下视频动作时序定位（temporal localization）、视频行为分析与理解问题的研究中，不妨试试这套资源。

目前，论文COIN: A Large-scale Dataset for Comprehensive Instructional Video Analysis已经被CVPR 2019接收。

△ COIN数据集概览

分层结构

论文介绍说，现有教程类行为视频数据集在规模性和多样性都存在较大的局限性，难以应用于现实中的复杂场景，而COIN数据集就不会出现这种尴尬的情况。

据研究人员统计，COIN中的视频均来自YouTube，共包含180个任务的11827个视频片段，每段视频平均长2.36分钟，视频总时长为476个小时。

除了数据集，研究人员还开发出配套的工具箱，给每一条视频都加上了有效注释，描述了视频中涉及的动作和时间点。所以，不仅数据量大，对数据的注释也不少，共有46354个带注释的视频段。

如何去组织这么多的数据？

研究人员表示，他们在COIN数据集中使用了“分层结构”。将整个数据集分为3个层次，即领域（domain）、任务（task）和步骤（step）。

△ COIN数据集的分层结构

在第一层（领域层）研究人员主要将数据集按照场景将数据粗略归纳为12个领域，即护工和护理、车辆、休闲生活、小机械、电器、家庭、科学和手工、植物与水果、零食与饮料、菜品、运动、家务。

第二层（任务层）中，上述各分类进一步细化，精细到具体的目的。比如“更换灯泡”与“安装吊扇”的二级分类都归属与“电器”领域下。

到了第三层（步骤层），主要细化到了完成任务的具体动作步骤，举个例子，“移除灯罩”、“取出旧灯泡”、“安装新灯泡”与“安装灯罩”等步骤都被划分到“更换灯泡”任务下了。

一环连一环，数据集中的层次结构层层递进、逐步深入。

作者团队

论文的作者来自清华大学和美图公司，一作为清华自动化系的博士四年级在读生Yansong Tang，主攻计算机视觉方向，尤其是视频动作分析。

△ 一作Yansong Tang

去年，Tang同学作为一作的论文Mining Semantics-Preserving Attention for Group Activity Recognition还被ACM MM18大会接收，被评为口头报告论文。

清华大学自动化系的Yongming Rao、Yu Zheng、Danyang Zhang、鲁继文和周杰也参与了研究。

此外，论文二作丁大钧 来自美图社交产品事业群视觉算法组。在平日的工作中，美图视觉算法组通过深度学习算法，理解图像和视频内容中的语义信息，给社区中推荐、搜索、反作弊和垃圾过滤等功能提供技术支持。

传送门

论文地址： https://arxiv.org/abs/1903.02874

项目主页： https://coin-dataset.github.io/

GitHub地址： https://github.com/coin-dataset

— 完 —