运动相机检测无人机-- Detecting Flying Objects using a Single Moving Camera

Detecting Flying Objects using a Single Moving Camera PAMI 2017 http://cvlab.epfl.ch/research/unmanned/detection https://drive.switch.ch/index.php/s/3b3bdbd6f8fb61e05d8b0560667ea992

Flying Objects Detection from a Single Moving Camera CVPR2015

Unmanned Aerial Vehicles (UAVs) 无人机 aircrafts 飞机

本文要解决的问题是用一个运动的相机来检测飞行物体,飞行物体在图像画面中占的面积可能很小。这个问题的难度还是比较大的,一方面相机的运动导致背景的变化,另一个方面,飞行物体的速度可能比较快,面积小导致检测的难度加大。

这里我们使用 3D descriptors 从 spatio-temporal image cubes 提取特征,对这些特征进行分类,判断其是否是感兴趣目标或威胁物体 we detect whether an object of interest is present and constitutes danger by classifying 3D descriptors computed from spatio-temporal image cubes, 我们将 spatio-temporal image cubes 称之为 st-cubes,看看下面的示意图吧: 下图每一行对应一个 st-cube

这些 st-cube 是怎么来的了? 我们首先对连续帧进行 motion-stabilized,然后 应用一个 多尺度滑动窗口方法提取 st-cube,每个尺寸独立提取 multi-scale sliding window approach to extract st-cubes。 这里我们使用 motion-stabilization 而不是 基于 optical flow 的原因是: 1) it remains effective even when the shape of the object to be detected is blurry or barely visible 2) learning-based motion compensation focuses on the object and is more resistant to complicated backgrounds, compared to the optical flow method

3 Detection Framework

我们的检测流程主要包括以下几个步骤: 1)将视频序列分为长度为 N帧的子序列,序列序列重叠 50% 2)从每个子序列中提取 st-cubes,使用多尺度滑动窗口方法,每个尺寸独立进行 3)对每个 st-cubes 进行 运动补偿,建立 stabilized st-cubes 4)对每个 st-cubes进行分类,判断其是否含有感兴趣目标 5)因为每个尺度是独立处理的,在同一个位置我们在尺度空间进行非极大值抑制,得到最好的检测结果。

这里我们介绍两个分类器用于判断每个 st-cubes 是否含有感兴趣目标

we want to train a classifier that takes as input st-cubes such and returns 1 or -1, depending on the presence or absence of a flying object

3.1 3D HoG with Gradient Boost 我们的第一个方法依赖于 boosted trees 学习一个分类器形式如下 :

使用 Gradient Boost algorithm 来学习弱分类器参数

3.2 Convolutional Neural Networks

4 Motion compensation 这里需要做运动补偿,因为 不管是 3D HoG 还是 the filter responses in the CNN case 都受 the global object motion 的影响,也就是我们需要这个运动影响

4.1 Boosted tree-based regressors 一个方法是 使用 boosted trees regressors 来做运动补偿

4.2 CNN-based regressors 使用 CNN网络来做运动补偿 Structure of the CNNs used for motion compensation

Examples of motion compensation

物体的尺度会变化

尺度调整对于检测是有帮助的

Influence of the st-cubes sizes

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

学界 | 斯坦福大学&DeepMind联合提出机器人控制新方法,RL+IL端到端地学习视觉运动策略

选自arXiv 作者:朱玉可等 机器之心编译 参与:路雪、思源 近日,来自斯坦福大学&DeepMind 的研究者提出一种学习机器人深度视觉运动策略的新方法,它结...

2715
来自专栏奇点大数据

机器学习和深度学习的区别

近来有一些朋友问我,深度学习是不是算机器学习,如果是为什么一定要单拿出来算一个概念,那我在这就说说我的理解。 首先,深度学习确实仍然是依靠机器来做学习的不管是监...

3176
来自专栏雪胖纸的玩蛇日常

10.贝叶斯理论

893
来自专栏机器之心

业界 | OpenAI提出新型元学习方法EPG,调整损失函数实现新任务上的快速训练

选自OpenAI 机器之心编译 参与:路雪、刘晓坤 刚刚,OpenAI 提出一种实验性元学习方法 Evolved Policy Gradients(EPG),该...

3519
来自专栏应兆康的专栏

4. 数据规模的增大促进了机器学习的发展

深度学习(神经网络)中许多的想法都已经存在了几十年。为什么今天这些想法火起来了呢? 促进机器学习发展的因素主要有两个: • 数据量越来越多. 如今人们在数字设备...

3566
来自专栏鸿的学习笔记

《machine learning yearning》学习笔记

一、如何选择机器学习策略 一个例子:当你的团队在使用cat图片去喂神经网络,让它去识别出一只cat.但是你的算法的精确度(accuracy)一直没办法提高。 下...

1291
来自专栏人工智能

看完这些你就明白,机器学习和深度学习的根本区别了

深度学习是什么? 在深度学习中,计算机模型学习直接从图像、文本或声音中执行分类任务。深度学习模式可以达到新的精确度,有时甚至超过人类的表现。大多数深度学习方法使...

4648
来自专栏机器学习算法工程师

《机器学习》笔记-计算学习理论(12)

如今机器学习和深度学习如此火热,相信很多像我一样的普通程序猿或者还在大学校园中的同学,一定也想参与其中。不管是出于好奇,还是自身充电,跟上潮流,我觉得都值得试一...

1184
来自专栏新智元

【深度学习并非万能】全方位对比深度学习和经典机器学习

近年来,深度学习已成为大多数AI问题的首选技术,使得经典机器学习相形见绌。原因很明显,深度学习在语音、自然语言、视觉和游戏等许多任务上都表现出卓越的性能。然而...

3326
来自专栏AI科技评论

学界 | 迁移学习效果优化不再是难题,杨强教授团队带来自动找到最佳算法的L2T

AI 科技评论按:近日,香港科技大学杨强教授团队发表了一篇关于迁移学习的论文。在论文中,他们提出了一种新颖的迁移学习范式 Learning to Transfe...

3308

扫码关注云+社区