专栏首页AI算法与图像处理You Only Watch Once:实时人体动作定位网络

You Only Watch Once:实时人体动作定位网络

来源:我爱计算机视觉

今天跟大家介绍一篇YOLO风格浓郁的论文,来自慕尼黑工业大学的学者受人类视觉的启发,提出一种快速实时的视频动作定位方法You Only Watch Once(YOWO),达到了目前最好的效果,而且代码将开源。

下面为作者信息:

视频动作定位是在视频中定位出正在执行动作的主体并识别出动作的问题。

请看下面这幅动图:

很显然该问题包括:在多帧中定位主体和动作分类。

在对关键帧(当前帧)进行动作分类时,很显然要考虑之前的数据。

作者提出的算法正是在这一观察下,结合3D-CNN 提取时空信息和2D CNN 提取位置信息再特征融合,并参考YOLO检测方法提出来的。

不同于以往类似Faster R-CNN两阶段方法,先生成大量proposals,再进行分类和位置提精,YOWO在一个网络中实现了时空信息的提取和融合,易于训练,精度高,而且速度也很快。

算法架构

下图为YOWO从数据输入到输出的整个过程:

使用3D CNN对视频片段提取时空信息,使用2D CNN对关键帧提取空间信息,对得到的两部分特征进行注意力机制和通道融合(CFAM)的特征聚合,后面的过程与YOLO一样,卷积后进行分类和包围框回归。

作者提出的CFAM特征聚合方法:

开始处,红色和深蓝色代表前一阶段的两个分枝的特征拼合在一起。

实验结果

作者在UCF101-24 和 J-HMDB-21数据集上进行了实验,验证了算法各部分的有效性,并在与state-of-the-art算法的比较上,取得明显的精度改进。

上图展示了在两种度量标准下,作者提出的算法各部分都取得了精度增益。

在两个数据集上与SOTA算法的结果比较:

在Frame-mAP的度量标准下,YOWO达到了更高的精度,分别比之前的最好结果提高了3.3 和12.2 个百分点。

与其他算法相比,速度更是一大亮点:

在Titan xp GPU上,YOWO 可达到 62 fps!

以下是作者给出的一些结果:

这个问题还是蛮有意思的,把YOWO用在“打架识别”,应该很有前途^_^

论文地址:

https://arxiv.org/pdf/1911.06644.pdf

项目地址:

https://github.com/wei-tim/YOWO

(还未开源,但已经引起了很多人关注!)

本文分享自微信公众号 - AI算法与图像处理(AI_study)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-11-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 基于暗通道去雾算法

    然而基于监督学习类的算法需要采集样本,但是由于实际样本不容易采集需要,通过图像处理叠加雾霾,导致实际效果与真实世界雾霾有较大区别,因此这类算法效果在实验室环境下...

    AI算法与图像处理
  • 深度学习的一些经验总结和建议| To do v.s Not To Do

    昨天看到几篇不同的文章写关于机器学习的to do & not to do,有些观点赞同,有些不赞同,是现在算法岗位这么热门,已经不像几年前一样,可能跑过一些项目...

    AI算法与图像处理
  • 蒙特利尔大学科研工作者:详细对比人类视觉系统与卷积神经网络(CNN)的联系和区别

    熟悉深度学习的朋友们一定不会对卷积神经网络(CNN)感到陌生,与传统的全连接深度学习神经网络(DNN)相比,CNN具有权重参数共享、灵活的特征检测等特点,其一定...

    AI算法与图像处理
  • You Only Watch Once:实时人体动作定位网络

    今天跟大家介绍一篇YOLO风格浓郁的论文,来自慕尼黑工业大学的学者受人类视觉的启发,提出一种快速实时的视频动作定位方法 You Only Watch Once(...

    机器视觉CV
  • Object Detection R-CNN

    3788字13图,预计阅读需要23分钟 红色华诞68周年 National Day of the People's Republic of China ? ?...

    机器学习算法工程师
  • Java中容器的遍历

    当我们用增强for循环遍历非并发容器(HashMap、ArrayList等),如果修改其结构,会抛出异常 ConcurrentModificationExcep...

    健程之道
  • 一日一技:在Python里面用2行代码压缩文件

    但是,这个过程在Python里面却比较复杂,因为你需要遍历整个文件夹及其子文件夹。stackoverflow上面给出的一个创建zip压缩文件的代码例子如下:

    青南
  • Linux常用基础命令(二)

    我和大家解释一个问题,有同学问我说:ls -l所展示的结果前面的那个东西他看不懂,说我上次解释的不够明确,

    我被狗咬了
  • 百度排名优化专家2.0绿色版

    Youngxj
  • 贪心算法+回溯算法

    贪心算法 先来比较一下贪心算法和动态规划 贪心算法是指在对问题求解时,总是做出在当前看来是最好的选择,不考虑整体,只考虑局部最优,所以它不一定能得到最优解; ...

    张俊怡

扫码关注云+社区

领取腾讯云代金券