运动相机检测无人机-- Detecting Flying Objects using a Single Moving Camera

Detecting Flying Objects using a Single Moving Camera PAMI 2017 http://cvlab.epfl.ch/research/unmanned/detection https://drive.switch.ch/index.php/s/3b3bdbd6f8fb61e05d8b0560667ea992

Flying Objects Detection from a Single Moving Camera CVPR2015

Unmanned Aerial Vehicles (UAVs) 无人机 aircrafts 飞机

本文要解决的问题是用一个运动的相机来检测飞行物体，飞行物体在图像画面中占的面积可能很小。这个问题的难度还是比较大的，一方面相机的运动导致背景的变化，另一个方面，飞行物体的速度可能比较快，面积小导致检测的难度加大。

这里写图片描述

这里我们使用 3D descriptors 从 spatio-temporal image cubes 提取特征，对这些特征进行分类，判断其是否是感兴趣目标或威胁物体 we detect whether an object of interest is present and constitutes danger by classifying 3D descriptors computed from spatio-temporal image cubes， 我们将 spatio-temporal image cubes 称之为 st-cubes，看看下面的示意图吧： 下图每一行对应一个 st-cube

这里写图片描述

这些 st-cube 是怎么来的了？ 我们首先对连续帧进行 motion-stabilized，然后 应用一个 多尺度滑动窗口方法提取 st-cube，每个尺寸独立提取 multi-scale sliding window approach to extract st-cubes。 这里我们使用 motion-stabilization 而不是 基于 optical flow 的原因是： 1） it remains effective even when the shape of the object to be detected is blurry or barely visible 2） learning-based motion compensation focuses on the object and is more resistant to complicated backgrounds, compared to the optical flow method

这里写图片描述

3 Detection Framework

这里写图片描述

我们的检测流程主要包括以下几个步骤： 1）将视频序列分为长度为 N帧的子序列，序列序列重叠 50% 2）从每个子序列中提取 st-cubes，使用多尺度滑动窗口方法，每个尺寸独立进行 3）对每个 st-cubes 进行 运动补偿，建立 stabilized st-cubes 4）对每个 st-cubes进行分类，判断其是否含有感兴趣目标 5）因为每个尺度是独立处理的，在同一个位置我们在尺度空间进行非极大值抑制，得到最好的检测结果。

这里我们介绍两个分类器用于判断每个 st-cubes 是否含有感兴趣目标

we want to train a classifier that takes as input st-cubes such and returns 1 or -1, depending on the presence or absence of a flying object

3.1 3D HoG with Gradient Boost 我们的第一个方法依赖于 boosted trees 学习一个分类器形式如下 ：

这里写图片描述

使用 Gradient Boost algorithm 来学习弱分类器参数

3.2 Convolutional Neural Networks

这里写图片描述

4 Motion compensation 这里需要做运动补偿，因为 不管是 3D HoG 还是 the filter responses in the CNN case 都受 the global object motion 的影响，也就是我们需要这个运动影响

4.1 Boosted tree-based regressors 一个方法是 使用 boosted trees regressors 来做运动补偿

4.2 CNN-based regressors 使用 CNN网络来做运动补偿 Structure of the CNNs used for motion compensation

这里写图片描述

Examples of motion compensation

这里写图片描述

这里写图片描述

物体的尺度会变化

这里写图片描述

尺度调整对于检测是有帮助的

这里写图片描述

这里写图片描述

这里写图片描述

Influence of the st-cubes sizes

这里写图片描述

这里写图片描述