运动相机检测无人机-- Detecting Flying Objects using a Single Moving Camera

Detecting Flying Objects using a Single Moving Camera PAMI 2017 http://cvlab.epfl.ch/research/unmanned/detection https://drive.switch.ch/index.php/s/3b3bdbd6f8fb61e05d8b0560667ea992

Flying Objects Detection from a Single Moving Camera CVPR2015

Unmanned Aerial Vehicles (UAVs) 无人机 aircrafts 飞机

本文要解决的问题是用一个运动的相机来检测飞行物体,飞行物体在图像画面中占的面积可能很小。这个问题的难度还是比较大的,一方面相机的运动导致背景的变化,另一个方面,飞行物体的速度可能比较快,面积小导致检测的难度加大。

这里我们使用 3D descriptors 从 spatio-temporal image cubes 提取特征,对这些特征进行分类,判断其是否是感兴趣目标或威胁物体 we detect whether an object of interest is present and constitutes danger by classifying 3D descriptors computed from spatio-temporal image cubes, 我们将 spatio-temporal image cubes 称之为 st-cubes,看看下面的示意图吧: 下图每一行对应一个 st-cube

这些 st-cube 是怎么来的了? 我们首先对连续帧进行 motion-stabilized,然后 应用一个 多尺度滑动窗口方法提取 st-cube,每个尺寸独立提取 multi-scale sliding window approach to extract st-cubes。 这里我们使用 motion-stabilization 而不是 基于 optical flow 的原因是: 1) it remains effective even when the shape of the object to be detected is blurry or barely visible 2) learning-based motion compensation focuses on the object and is more resistant to complicated backgrounds, compared to the optical flow method

3 Detection Framework

我们的检测流程主要包括以下几个步骤: 1)将视频序列分为长度为 N帧的子序列,序列序列重叠 50% 2)从每个子序列中提取 st-cubes,使用多尺度滑动窗口方法,每个尺寸独立进行 3)对每个 st-cubes 进行 运动补偿,建立 stabilized st-cubes 4)对每个 st-cubes进行分类,判断其是否含有感兴趣目标 5)因为每个尺度是独立处理的,在同一个位置我们在尺度空间进行非极大值抑制,得到最好的检测结果。

这里我们介绍两个分类器用于判断每个 st-cubes 是否含有感兴趣目标

we want to train a classifier that takes as input st-cubes such and returns 1 or -1, depending on the presence or absence of a flying object

3.1 3D HoG with Gradient Boost 我们的第一个方法依赖于 boosted trees 学习一个分类器形式如下 :

使用 Gradient Boost algorithm 来学习弱分类器参数

3.2 Convolutional Neural Networks

4 Motion compensation 这里需要做运动补偿,因为 不管是 3D HoG 还是 the filter responses in the CNN case 都受 the global object motion 的影响,也就是我们需要这个运动影响

4.1 Boosted tree-based regressors 一个方法是 使用 boosted trees regressors 来做运动补偿

4.2 CNN-based regressors 使用 CNN网络来做运动补偿 Structure of the CNNs used for motion compensation

Examples of motion compensation

物体的尺度会变化

尺度调整对于检测是有帮助的

Influence of the st-cubes sizes

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏SeanCheney的专栏

《Scikit-Learn与TensorFlow机器学习实用指南》 第08章 降维

很多机器学习的问题都会涉及到有着几千甚至数百万维的特征的训练实例。这不仅让训练过程变得非常缓慢,同时还很难找到一个很好的解,我们接下来就会遇到这种情况。这种问题...

721
来自专栏编程

从零开始学习Gradient Boosting算法

-欢迎 加入AI技术专家社群>> 一、主要目的 虽然大多数Kaggle竞赛获胜者使用各种模型的叠加/集合,但是一个特定的模式是大部分集合的部分是梯度提升(GBM...

2099
来自专栏深度学习

机器学习常用神经网络架构和原理

一、为什么需要机器学习? 有些任务直接编码较为复杂,我们不能处理所有的细微之处和简单编码,因此,机器学习很有必要。相反,我们向机器学习算法提供大量数据,让算法不...

3087
来自专栏杨熹的专栏

深度学习与自然语言处理 主要概念一览CS224d-Day 1:

---- CS224d-Day 1: 要开始系统地学习 NLP 课程 cs224d,今天先来一个课程概览。 课程一共有16节,先对每一节中提到的模型,算法,工...

34711
来自专栏大数据文摘

重磅长文|提高深度学习性能的四种方式

2187
来自专栏机器之心

学界 | 谷歌云提出渐进式神经架构搜索:高效搜索高质量CNN结构

37612
来自专栏大数据挖掘DT机器学习

机器学习算法的R语言实现:朴素贝叶斯分类器

1、引子 朴素贝叶斯方法是一种使用先验概率去计算后验概率的方法,其中 朴素 的意思实际上指的是一个假设条件,后面在举例中说明。本人以为,纯粹的数学推导固然有其...

2779
来自专栏PPV课数据科学社区

最新机器学习必备十大入门算法!都在这里了

我们向初学者介绍十大机器学习(ML)算法,并附上数字和示例,方便理解。 简介 “哈佛商业评论”的一篇文章(https://hbr.org/2012/10/da...

3256
来自专栏深度学习自然语言处理

【机器学习】如何简单形象又有趣地讲解神经网络是什么?

这种能自动对输入的东西进行分类的机器,就叫做分类器。 分类器的输入是一个数值向量,叫做特征(向量)。在第一个例子里,分类器的输入是一堆0、1值,表示字典里的每...

1043
来自专栏大数据文摘

斯坦福CS231N深度学习与计算机视觉第八弹:神经网络训练与注意点

1013

扫码关注云+社区