运动相机检测无人机-- Detecting Flying Objects using a Single Moving Camera

Detecting Flying Objects using a Single Moving Camera PAMI 2017 http://cvlab.epfl.ch/research/unmanned/detection https://drive.switch.ch/index.php/s/3b3bdbd6f8fb61e05d8b0560667ea992

Flying Objects Detection from a Single Moving Camera CVPR2015

Unmanned Aerial Vehicles (UAVs) 无人机 aircrafts 飞机

本文要解决的问题是用一个运动的相机来检测飞行物体,飞行物体在图像画面中占的面积可能很小。这个问题的难度还是比较大的,一方面相机的运动导致背景的变化,另一个方面,飞行物体的速度可能比较快,面积小导致检测的难度加大。

这里我们使用 3D descriptors 从 spatio-temporal image cubes 提取特征,对这些特征进行分类,判断其是否是感兴趣目标或威胁物体 we detect whether an object of interest is present and constitutes danger by classifying 3D descriptors computed from spatio-temporal image cubes, 我们将 spatio-temporal image cubes 称之为 st-cubes,看看下面的示意图吧: 下图每一行对应一个 st-cube

这些 st-cube 是怎么来的了? 我们首先对连续帧进行 motion-stabilized,然后 应用一个 多尺度滑动窗口方法提取 st-cube,每个尺寸独立提取 multi-scale sliding window approach to extract st-cubes。 这里我们使用 motion-stabilization 而不是 基于 optical flow 的原因是: 1) it remains effective even when the shape of the object to be detected is blurry or barely visible 2) learning-based motion compensation focuses on the object and is more resistant to complicated backgrounds, compared to the optical flow method

3 Detection Framework

我们的检测流程主要包括以下几个步骤: 1)将视频序列分为长度为 N帧的子序列,序列序列重叠 50% 2)从每个子序列中提取 st-cubes,使用多尺度滑动窗口方法,每个尺寸独立进行 3)对每个 st-cubes 进行 运动补偿,建立 stabilized st-cubes 4)对每个 st-cubes进行分类,判断其是否含有感兴趣目标 5)因为每个尺度是独立处理的,在同一个位置我们在尺度空间进行非极大值抑制,得到最好的检测结果。

这里我们介绍两个分类器用于判断每个 st-cubes 是否含有感兴趣目标

we want to train a classifier that takes as input st-cubes such and returns 1 or -1, depending on the presence or absence of a flying object

3.1 3D HoG with Gradient Boost 我们的第一个方法依赖于 boosted trees 学习一个分类器形式如下 :

使用 Gradient Boost algorithm 来学习弱分类器参数

3.2 Convolutional Neural Networks

4 Motion compensation 这里需要做运动补偿,因为 不管是 3D HoG 还是 the filter responses in the CNN case 都受 the global object motion 的影响,也就是我们需要这个运动影响

4.1 Boosted tree-based regressors 一个方法是 使用 boosted trees regressors 来做运动补偿

4.2 CNN-based regressors 使用 CNN网络来做运动补偿 Structure of the CNNs used for motion compensation

Examples of motion compensation

物体的尺度会变化

尺度调整对于检测是有帮助的

Influence of the st-cubes sizes

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏量子位

图像风格迁移(Neural Style)简史

作者:李嘉铭 Northwestern University | CS 量子位 已获授权编辑发布 面向读者:没有或有一定机器学习经验并对Prisma之类的app...

3647
来自专栏机器之心

学界 | CVPR 2017最新论文:使用VTransE网络进行视觉关系检测

选自arxiv.org 机器之心编译 参与:李亚洲、吴攀 知识表示学习的思想(TransE)已经被成功应用于视觉关系提取(Visual Relation Ex...

2997
来自专栏AI科技评论

干货 | 文本嵌入的经典模型与最新进展

AI 科技评论按:这篇文章来自自然语言处理以及机器学习专家、Huggingface 的技术负责人 Thomas Wolf,介绍了文本嵌入的重点知识和最新趋势。...

903
来自专栏CSDN技术头条

自然语言处理深度学习的7个应用

自然语言处理领域正在从统计方法转变为神经网络方法。 自然语言中仍有许多具有挑战性的问题需要解决。然而,深度学习方法在一些特定的语言问题上取得了最新的成果。这不仅...

1829
来自专栏崔庆才的专栏

干货 | 给妹纸的深度学习教学——从这里出发

或许你第一个想弄明白的问题是人工智能(AI),机器学习(ML),深度学习(DL)三者的区别和联系,下图清晰明了地告诉你。 ? 1. 什么是机器学习 从小学开始...

41411
来自专栏机器之心

深度 | 当前最好的词句嵌入技术概览:从无监督学习转向监督、多任务学习

1695
来自专栏编程

Python深度学习的十大入门视频教程

人工智能无疑是2017年最火爆的技术,许多外行的朋友想学习却不知道从何下手,所以特意将此文翻译过来,供大家参考。可以在短期之内进入这个领域。这些视频大多数都可以...

3076
来自专栏磐创AI技术团队的专栏

10000+谷歌员工学过的谷歌内部图像分类课程公开了!

1747
来自专栏机器之心

CVPR 2018 | Spotlight论文:变分U-Net,可按条件独立变换目标的外观和形状

选自arxiv 作者:Patrick Esser等 机器之心编译 参与:Nurhachu Null、刘晓坤 由于深度生成模型通常是直接生成目标图像,没有对本质形...

3175
来自专栏人工智能快报

科学家提出更加灵活的机器学习方法

据2015年10月美国麻省理工学院新闻,该校科学家将在2015年12月的神经信息处理系统年会上提出一种更加灵活的机器学习方法,该方法能够加强语义相关概念之间的联...

2984

扫码关注云+社区