专栏首页腾讯开源的专栏腾讯优图开源视频动作检测算法DBG,打破两项世界纪录

腾讯优图开源视频动作检测算法DBG,打破两项世界纪录

腾讯优图实验室提出一种新的视频动作检测算法DBG已经开源,该算法在全球两大权威视频动作数据集ActivityNet-1.3和THUMOS14上均取得了第一。

任务介绍

视频动作检测技术是精彩视频集锦、视频字幕生成、动作识别等任务的基础,随着互联网的飞速发展,在产业界中得到越来越广泛地应用。视频动作检测算法需要在给出视频中找到动作发生的位置(起点和终点)和置信度。如下图所示,我们需要在一段体育视频场景中,找到“跳高”这个动作发生的起点时刻和终点时刻。

算法设计

与现有的视频动作检测算法相比,DBG算法有3点创新:

(1)提出一种快速的、端到端的稠密边界动作生成器(Dense Boundary Generator,DBG)。该生成器能够对所有的动作提名(proposal)估计出稠密的边界置信度图。

(2)引入额外的时序上的动作分类损失函数来监督动作概率特征,该特征能够有利于回归动作的完整度。

(3)设计一种高效的动作提名特征生成层,该层能够有效捕获动作的全局特征,便于后面的分类和回归模块。

算法的整体框架主要包括三个部分:视频特征抽取(Video Representation),稠密边界动作检测器(DBG),后处理(Post-processing)。

(DBG算法框架图 )

评测结果

从评估结果来看,DBG无论在召回率还是耗时上都优于现有其他开源算法。其中,ActivityNet1.3数据集分为Validation和Test两个评估集,DBG单模型(表中Ours)在Validation和Test的两种评估模式上均取得了Top 1,通过使用多种特征提取网络和多尺度特征等策略,DBG算法的融合结果是73.05%,达到ActivityNet榜单的第一名。

目前THUMOS14数据集测试集标注已经公开,通过将DBG与现有的开源方法进行对比,DBG在不同指标下的召回率均有显著提升。

此外,DBG算法的耗时要明显少于BSN和BMN等其他经典方法。

据悉,该算法投稿的论文《FastLearning of Temporal Action Proposal via Dense Boundary Generator》已被国际人工智能顶级会议AAAI2020接收(https://arxiv.org/pdf/1911.04127.pdf)。

业务落地

随着互联网时代发展,视频内容越来越多,预计到2021年,80%左右的互联网流量将会来自于视频。视频内容的爆发也催生了对动作检测算法的巨大需求。互联网场景视频内容的多样性对技术提出了很多的挑战,如视频场景复杂、动作长度差异较大、边界模糊、相机运动带来背景变化等。针对这些挑战,优图DBG动作检测算法应运而生,在实际业务中取得了很好的精度与速度的提升。

目前,动作检测技术已经应用于公司内外的多个业务中,覆盖教育、社交、娱乐、视频等多个场景。以社交娱乐场景为例,短视频APP用户拍摄上传一段原始视频后,基于DBG算法的功能接口,可实现对视频中“跳舞”动作的检测和识别并智能剪辑,帮助用户自动生成更加专业的短视频。

持续开源

自2017年,腾讯开始加快对外开源节奏,主要覆盖AI、云、游戏、安全、小程序等相关领域,其中计算机视觉技术的开源也是其重要一环。2019年至今优图已有人脸检测、属性等5项技术开源。腾讯将不断研究和探索,通过开源更多新技术为产业发展提供助力。

ActionDetection-DBG开源啦!

https://github.com/Tencent/ActionDetection-DBG

(点击文末阅读原文直接访问)

请给项目 一个 Star !

欢迎提出你的 issue 和 PR!

 国内镜像地址:

https://git.code.tencent.com/Tencent_Open_Source/DBG

(登录后才能访问公开项目)

腾讯工蜂源码系统为开源开发者提供完整、最新的腾讯开源项目国内镜像

本文分享自微信公众号 - 腾讯开源(tencentopen),作者:腾讯开源

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-03-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 视频质量评估算法 DVQA 正式开源

    DVQA是腾讯多媒体实验室设计的基于深度学习的全参考视频质量评估算法。在整个视频链路中,我们可以量化大部分模块,如采集,上传,预处理,转码,分发。我们最未知的...

    腾讯开源
  • 腾讯与Github的魔幻会面背后的故事…

    10月22日,腾讯开源管理办公室有幸邀请到Github新晋CEO Nat Friedman,前来鹅厂参观交流。目前腾讯已经有近70个项目在Github上开源,...

    腾讯开源
  • 国内首家!主导Apache Hadoop新版本发布的,是腾讯云这位小哥哥

    腾讯开源
  • 学术资讯|打破两项世界纪录,腾讯优图开源视频动作检测算法DBG

    近日,腾讯优图实验室提出一种新的视频动作检测算法DBG并开源,这是继今年4月人脸检测算法DSFD开源后,优图的又一次开源动作。

    优图实验室
  • 打破两项世界纪录,腾讯优图开源视频动作检测算法DBG

    ? 近日,腾讯优图实验室提出一种新的视频动作检测算法DBG并开源,这是继今年4月人脸检测算法DSFD开源后,优图的又一次开源动作。 目前,DBG算法在全球两大...

    腾讯技术工程官方号
  • 文件管理系统FastDFS详解

    很多以文件为载体的在线服务,如相册网站、视频网站等,都需要对文件进行管理,包括文件的存储、同步、访问(文件上传、文件下载)等,同时肯定会伴随着大容量存储和负载均...

    用户1161110
  • Gradle里指定任务之间的依赖关系

    如果不用dependsOn指定依赖关系,我在Gradle 6.0测试结果,Gradle会按照task在build.gradle文件里定义的顺序依次执行:

    Jerry Wang
  • [日常] 解决PHP Warning: Module 'mysqli' already loaded in Unknown on line 0

    解决PHP Warning: Module 'mysqli' already loaded in Unknown on line 0

    陶士涵
  • 解决Xilinx ZCU106 Linux启动后没有响应问题。

    工作中,一直使用ZCU106,Linux都启动正常。今天同事拆开DDR保护金属外壳,看了DIMM条。

    hankfu
  • python整小时 整天时间戳获取算法

    py3study

扫码关注云+社区

领取腾讯云代金券