人群场景分析--Slicing Convolutional Neural Network for Crowd Video Understanding

Slicing Convolutional Neural Network for Crowd Video Understanding CVPR2016 http://www.ee.cuhk.edu.hk/~jshao/SCNN.html Caffe code: https://github.com/amandajshao/Slicing-CNN

本文也是使用CNN网络对一段视频进行分析,网络输出是关于视频的 94个属性,主要关于 “ Who is in the crowd?”, “Where is the crowd?”, and “Why is crowd here?“ 类似 Deeply Learned Attributes for Crowded Scene Understanding,只不过使用的网络结构不一样。 本文最大的特色是 decomposition of 3D feature maps into 2D spatio- and 2D temporal-slices representations, 将视频中的 xyt 信息分解为 xy, xt 和 yt 三类信息。 这里的 t 表示时间轴, xy 表示 空间坐标

1 Introduction 理解人群的行为模式和运动规律是一个很重要的任务。提取人群中的 appearance and dynamic information 还是比较难得。理论上,我们首先将感兴趣的目标从背景中分割出来,将其分门别类,然后再对每个物体进行跟踪,最后综合所有信息得到一个全局的理解。但是这么做似乎太难了。

深度学习能够解决上面的挑战吗?当前CNN网络可以提取图像中的 strong generic appearance 信息。但是他们缺乏学习 dynamic representation 的关键能力。当前采取的做法一般是将 2D 的 CNN 拓展到 3D CNN, 使用 3D 滤波器 将 appearance and dynamic feature 混在一起学习表示。但是 appearance and dynamic feature 应该被区分对待,因为他们的表达方式不一样,传递的信息也不一样。也有尝试区分对待 appearance and dynamic 特征,但是 这些方法在输入层就丢失了关键的 dynamic information these methods lose critical dynamic information at the input layer.

我们提出了一个 Slicing CNN (S-CNN) 网络, appearance and dynamics 即被独立的提取,有在semantic 层面上有机的融合到一起 appearance and dynamics have separate representations yet they interact seamlessly at semantic level

3 Slicing CNN Model

我们首先对视频中的每一帧图像 使用一个 2D CNN模型 来学习 appearance 特征,得到一个 semantic feature cuboids 集合(一组滤波器学习到的特征图),每个feature cuboid 捕获一个 独立的信息 visual pattern, or an object instance/category。 基于这些提取到的 feature cuboids,我们分别引入 三类滤波器(xy-, xt-, and yt-)来学习不同维度的 appearance and dynamic features, 接着我们在每个分支后面使用一个 1D 的 temporal pooling layer,接着我们将所有的特征向量 concatenated,再输入到一个 SVM 分类器中,完成 crowd attribute 的分类工作。

3.1. Semantic Selectiveness of Feature Maps 最近的研究显示 图像相关的CNN模型中的 2D 滤波器 具有很强的选择性 posses strong selectiveness on patterns corresponding to object categories and object identities

通过上面观察到的现象,我们可以从上面的特征集中将运动物体和背景的干扰区分开来,这样可以更好的分析人群的行为 Motivated by the aforementioned observations, we could actually exploit such feature cuboids to separately monitor the movements of different object categories, both spatially and temporally, while reducing the interference caused by the background clutter and irrelevant objects

3.2. Feature Map Pruning 这里主要是将背景的运动信息剔除,提取人群的动态信息 The selectiveness of feature cuboids allows us to design models on a particular set of feature cuboids so as to capture crowd-related dynamic patterns and reject motions from irrelevant background contents.

通过定义 affinity score and conspicuous score 来度量 哪个滤波器是我们需要的,哪个滤波器不是我们需要的。

3.3. Semantic Temporal Slices 这里我们将 3D 的信息 用 2D temporal slices 来表示 dynamic feature representations can also be described from 2D temporal slices that cut across 3D volume from another two orthogonal planes, as xt- or yt-slices

但是 xt 或 yt 没有将不同物体的运动区分开来,因为它们没有提取将物体分割独立出来 It is not a trivial task to divide their motion patterns apart without identifying these objects at first

这里我们 提出 从 semantic feature cuboids 提取 Semantic Temporal Slice (STS) Semantic Temporal Slice (STS) extracted from semantic feature cuboids, which are obtained from the xy convolutional layers,

这么做的好处是:不同物体的信息可以区分开来 such kind of slices can distinguish and purify the dynamic representation for a certain semantic pattern without the interference from other objects, instances or visual patterns inside one temporal slice. Furthermore, given multiple STSs extracted from different horizontal and vertical probe lines and fed into S-CNN, their information can be combined to learn long-range dynamic features.

4 S-CNN Deep Architecture 4.1. Single Branch of S-CNN Model 首先我们用 VGG 网络的前面卷积层提取 spatial semantic feature maps VGG-16 from conv1_1 to conv4_3_1 to extract spatial semantic feature maps

接着是三个分支: S-CNN-xy branch:传统意义上的卷积 The S-CNN-xy branch learns spatio- temporal features from the xy-plane by xy-convolutional filters. convolving feature maps with xy-filters from VGG16 conv5_1 to conv5_3

S-CNN-xt / -yt branch

这里主要是维度的变换 we first swap dimensions of the original xy-plane to the corresponding xt- or yt-plane. 卷积完之后还要变回来

4.2. Combined S-CNN Model 三个分支信息的融合,每个属性使用一个 SVM 分类器,一共 94个分类器 We train a SVM independently for each attribute, thus there are 94 models in total.

5 Experiments

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏小樱的经验随笔

【机器学习笔记之四】Adaboost 算法

本文结构: 什么是集成学习? 为什么集成的效果就会好于单个学习器? 如何生成个体学习器? 什么是 Boosting? Adaboost 算法? ---- 什么是...

3136
来自专栏深度学习之tensorflow实战篇

文本分类算法带监督的FastText

FastText是Facebook开发的一款快速文本分类器,提供简单而高效的文本分类和表征学习的方法;其由两部分组成,在文末有连接以及github代码源与文本分...

3839
来自专栏机器学习、深度学习

人群计数--Cross-scene Crowd Counting via Deep Convolutional Neural Networks

Cross-scene Crowd Counting via Deep Convolutional Neural Networks CVPR2015 本文主...

2376
来自专栏杨熹的专栏

Adaboost 算法

本文结构: 什么是集成学习? 为什么集成的效果就会好于单个学习器? 如何生成个体学习器? 什么是 Boosting? Adaboost 算法? ---- 什么是...

3277
来自专栏AlgorithmDog的专栏

超快的 fastText

Word2Vec 作者、脸书科学家 Mikolov 文本分类新作 fastText:方法简单,号称并不需要深度学习那样几小时或者几天的训练时间,在普...

24210
来自专栏李炼的专栏

加权有限状态机在语音识别中的应用

WFST 在语音识别中的应用,要从 Mohri 的《Weighted Finite-State Transducers in Speech Recognitio...

6841
来自专栏磐创AI技术团队的专栏

【干货】词向量之DNN模型

1 词向量 在NLP里,最细的粒度是词语,由词语再组成句子,段落,文章。所以处理NLP问题时,怎么合理的表示词语就成了NLP领域中最先需要解决的问题。 因为语...

3824
来自专栏机器学习算法全栈工程师

机器学习(一)集成学习

1. 关于集成学习的概念   集成学习是机器学习中一个非常重要且热门的分支,是用多个弱分类器构成一个强分类器,其哲学思想是“三个臭皮匠赛过诸葛亮”。一般的弱分类...

3258
来自专栏人工智能

BP神经网络-ANN发展

Dear junqiang: Hello 今天是“一天一文”的第18天。继续关于AI里面最重要的神经网络的知识分享。 昨天的文章说了关于ANN的基础 —— 单层...

1999
来自专栏深度学习思考者

Vehicle Logo Recognition System Based on Convolutional Neural Networks With a Pretraining Strategy

论文笔记Ⅰ 基于卷积神经网络的车辆标记识别系统 考虑文章中一些语法以及用词还挺好,先记录一下,留下来以后可能用到自己的paper中。 Abstract 由...

2228

扫码关注云+社区