前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >运动相机检测无人机-- Detecting Flying Objects using a Single Moving Camera

运动相机检测无人机-- Detecting Flying Objects using a Single Moving Camera

作者头像
用户1148525
发布2018-01-03 15:33:57
1.1K0
发布2018-01-03 15:33:57
举报
文章被收录于专栏:机器学习、深度学习

Detecting Flying Objects using a Single Moving Camera PAMI 2017 http://cvlab.epfl.ch/research/unmanned/detection https://drive.switch.ch/index.php/s/3b3bdbd6f8fb61e05d8b0560667ea992

Flying Objects Detection from a Single Moving Camera CVPR2015

Unmanned Aerial Vehicles (UAVs) 无人机 aircrafts 飞机

本文要解决的问题是用一个运动的相机来检测飞行物体,飞行物体在图像画面中占的面积可能很小。这个问题的难度还是比较大的,一方面相机的运动导致背景的变化,另一个方面,飞行物体的速度可能比较快,面积小导致检测的难度加大。

这里写图片描述
这里写图片描述

这里我们使用 3D descriptors 从 spatio-temporal image cubes 提取特征,对这些特征进行分类,判断其是否是感兴趣目标或威胁物体 we detect whether an object of interest is present and constitutes danger by classifying 3D descriptors computed from spatio-temporal image cubes, 我们将 spatio-temporal image cubes 称之为 st-cubes,看看下面的示意图吧: 下图每一行对应一个 st-cube

这里写图片描述
这里写图片描述

这些 st-cube 是怎么来的了? 我们首先对连续帧进行 motion-stabilized,然后 应用一个 多尺度滑动窗口方法提取 st-cube,每个尺寸独立提取 multi-scale sliding window approach to extract st-cubes。 这里我们使用 motion-stabilization 而不是 基于 optical flow 的原因是: 1) it remains effective even when the shape of the object to be detected is blurry or barely visible 2) learning-based motion compensation focuses on the object and is more resistant to complicated backgrounds, compared to the optical flow method

这里写图片描述
这里写图片描述

3 Detection Framework

这里写图片描述
这里写图片描述

我们的检测流程主要包括以下几个步骤: 1)将视频序列分为长度为 N帧的子序列,序列序列重叠 50% 2)从每个子序列中提取 st-cubes,使用多尺度滑动窗口方法,每个尺寸独立进行 3)对每个 st-cubes 进行 运动补偿,建立 stabilized st-cubes 4)对每个 st-cubes进行分类,判断其是否含有感兴趣目标 5)因为每个尺度是独立处理的,在同一个位置我们在尺度空间进行非极大值抑制,得到最好的检测结果。

这里我们介绍两个分类器用于判断每个 st-cubes 是否含有感兴趣目标

we want to train a classifier that takes as input st-cubes such and returns 1 or -1, depending on the presence or absence of a flying object

3.1 3D HoG with Gradient Boost 我们的第一个方法依赖于 boosted trees 学习一个分类器形式如下 :

这里写图片描述
这里写图片描述

使用 Gradient Boost algorithm 来学习弱分类器参数

3.2 Convolutional Neural Networks

这里写图片描述
这里写图片描述

4 Motion compensation 这里需要做运动补偿,因为 不管是 3D HoG 还是 the filter responses in the CNN case 都受 the global object motion 的影响,也就是我们需要这个运动影响

4.1 Boosted tree-based regressors 一个方法是 使用 boosted trees regressors 来做运动补偿

4.2 CNN-based regressors 使用 CNN网络来做运动补偿 Structure of the CNNs used for motion compensation

这里写图片描述
这里写图片描述

Examples of motion compensation

这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述

物体的尺度会变化

这里写图片描述
这里写图片描述

尺度调整对于检测是有帮助的

这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述

Influence of the st-cubes sizes

这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2017年09月21日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档