前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >CVPR 2019 | 业内最大规模!美图联合清华推出教程类行为数据集 COIN

CVPR 2019 | 业内最大规模!美图联合清华推出教程类行为数据集 COIN

作者头像
机器之心
发布2019-03-19 10:26:38
7590
发布2019-03-19 10:26:38
举报
文章被收录于专栏:机器之心

机器之心发布

美图公司社交产品事业群视觉算法组

不久之前,CVPR 2019 接收论文公布:在超过 5100 篇投稿中,共有 1300 篇被接收,接收率达 25.2%。本文介绍了美图公司社交产品事业群视觉算法组与清华大学自动化系智能视觉实验室合作的一篇论文,双方联合发布了业界最大规模教程类行为数据集 COIN(COmprehensive INstructional video analysis)。

论文标题: COIN: A Large-scale Dataset for Comprehensive Instructional Video Analysis

  • 论文地址:https://arxiv.org/pdf/1903.02874.pdf
  • 数据集链接:https://coin-dataset.github.io

教程类行为视频(Instructional Video)可以帮助使用者获取完成各种行为任务的知识,但是现有教程类行为视频数据集在规模性和多样性都存在较大的局限性,难以应用于现实生中的复杂场景。为此,美图公司社交产品事业群视觉算法组与清华大学自动化系智能视觉实验室合作提出了名为 COIN 的大规模教程类数据集,用于更全面的教程类行为视频分析。

COIN 数据集的概览

COIN 数据集采用分层结构,即第一层是领域(Domain)、第二层是任务(Task)、第三层是步骤(Step),其中包含与日常生活相关的 11827 个视频,涉及交通工具、电器维修、和家具装修等 12 个领域的 180 个任务,共 778 个步骤。

COIN 数据集的分层结构

COIN 数据集的设计人员还开发了创新性的标注工具,可以更高效更准确地标注视频行为的步骤信息。此外,为了给数据集提供更准确的基准指标,数据集开发人员还使用了 SSN、R-C3D 等评价方法对 COIN 数据集进行了测评。

COIN 数据集的步骤定位准确率分析

目前,COIN 数据集是业界规模最大、多样性最丰富的教程类视频数据集。该数据集在标注结构上采用分层的组织结构,涵盖了多种不同类型的教程类视频。该数据集的提出,给复杂场景下视频动作时序定位(temporal localization)等问题的研究提供丰富的数据资源,有望加快推动视频行为分析与理解等相关领域的研究。

团队介绍:美图公司社交产品事业群视觉算法组,是美图社交化的重要算法团队之一。随着「美和社交」战略的发布,美图秀秀从过去的纯图片处理软件转变为社区平台。视觉算法组通过人工智能/深度学习算法,理解图像和视频内容中的语义信息,为社区中推荐、搜索、反作弊和垃圾过滤等提供有力的技术支撑。帮助用户处理图片的同时,增加社交功能及软件活性。

本文为机器之心报道,转载请联系本公众号获得授权。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-03-10,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 机器之心 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
图片处理
图片处理(Image Processing,IP)是由腾讯云数据万象提供的丰富的图片处理服务,广泛应用于腾讯内部各产品。支持对腾讯云对象存储 COS 或第三方源的图片进行处理,提供基础处理能力(图片裁剪、转格式、缩放、打水印等)、图片瘦身能力(Guetzli 压缩、AVIF 转码压缩)、盲水印版权保护能力,同时支持先进的图像 AI 功能(图像增强、图像标签、图像评分、图像修复、商品抠图等),满足多种业务场景下的图片处理需求。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档