专栏首页机器学习、深度学习视频目标检测--Flow-Guided Feature Aggregation for Video Object Detection

视频目标检测--Flow-Guided Feature Aggregation for Video Object Detection

Flow-Guided Feature Aggregation for Video Object Detection https://arxiv.org/abs/1703.10025 Our framework is principled, and on par with the best engineered systems winning the ImageNet VID challenges 2016

The code would be released

本文主要利用视频中前后帧的特征信息来提高当前帧的目标检测精度。 we propose to improve the per-frame feature learning by temporal aggregation

为什么需要前后帧信息了,因为视频中有时候每一帧的目标信息不是适合于检测

Note that the features of the same object instance are usually not spatially aligned across frames due to video motion. 前后帧的特征信息怎么对应起来了?两个模块:1)基于运动指导的 spatial warping 2)特征融合模块 Two modules are necessary for such feature propagation and enhancement: 1) motion-guided spatial warping. It estimates the motion between frames and warps the feature maps accordingly. 2) feature aggregation module. It figures out how to properly fuse the features from multiple frames.

3.2. Model Design Flow-guided warping 首先用一个 flow network F 估计光流场,然后基于光流场把当前帧的特征映射到相邻帧去,得到相邻帧的特征图 bilinear warping

Feature aggregation 有了当前帧的特征图及其前后相邻若干帧的特征图,我们采用 Adaptive weight 来融合这些特征图得到最终的特征图,将该特征图输入检测子网络中

总的计算流程

不同模块组合的 Accuracy and runtime

加入 flow-guided 时间增加的比较多

小目标的检测还是有待加强

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 语义分割--Pixel Deconvolutional Networks

    本文首先指出在常规的 deconvolutional operation 会导致 所谓的 checkerboard 问题。这主要是因为 deconvoluti...

    用户1148525
  • 网络模型--Densely Connected Convolutional Networks

    Densely Connected Convolutional Networks CVPR2017 best paper Code: https://...

    用户1148525
  • 相机模型--A Theory of Catadioptric Image Formation

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.n...

    用户1148525
  • Selenium2+python自动化38-显示等待(WebDriverWait)

    前言: 在脚本中加入太多的sleep后会影响脚本的执行速度,虽然implicitly_wait()这种方法隐式等待方法随时一定程度上节省了很多时间。 但是一旦页...

    上海-悠悠
  • SAP ABAP和Java跨域请求问题的解决方案

    There is an excellent blog Cross-domain communications with ABAP and JSONP writt...

    Jerry Wang
  • 图片语义级属性轻松改变

    论文: Deep Feature Interpolation for Image Content Changes

    用户1908973
  • 在室内环境中使用二次曲面和对称属性的面向对象SLAM(CS RO)

    针对室内移动机器人的应用环境,提出了一种基于RGB-D摄像机的稀疏对象级SLAM算法。二次表示用作界标以紧凑地建模对象,包括对象的位置,方向和占用的空间。现有的...

    时代在召唤
  • 用Python编写一个高效的端口扫描器

    此端口扫描器的源码,文档及详细调用方法见Github PythonPortScanner by Yaokai。

    py3study
  • 司法部与Google的合作:尝试此反垄断诉讼的规模(Internet)

    由于美国司法部对这家科技巨头提起了民事诉讼,要求谷歌非法维持在线搜索服务和搜索广告的垄断地位,因此谷歌在政府监管机构的视线中处于劣势。

    用户8054058
  • Android实现viewpager实现循环轮播效果

    在网上看到很多利用viewpager实现轮播都是通过设置一个很大的值,让viewpager开始显示在这个数值区间的中间,但这种轮播个人感觉不是真正的轮播,因此自...

    砸漏

扫码关注云+社区

领取腾讯云代金券