人群场景分析--Slicing Convolutional Neural Network for Crowd Video Understanding

Slicing Convolutional Neural Network for Crowd Video Understanding CVPR2016 http://www.ee.cuhk.edu.hk/~jshao/SCNN.html Caffe code: https://github.com/amandajshao/Slicing-CNN

本文也是使用CNN网络对一段视频进行分析,网络输出是关于视频的 94个属性,主要关于 “ Who is in the crowd?”, “Where is the crowd?”, and “Why is crowd here?“ 类似 Deeply Learned Attributes for Crowded Scene Understanding,只不过使用的网络结构不一样。 本文最大的特色是 decomposition of 3D feature maps into 2D spatio- and 2D temporal-slices representations, 将视频中的 xyt 信息分解为 xy, xt 和 yt 三类信息。 这里的 t 表示时间轴, xy 表示 空间坐标

1 Introduction 理解人群的行为模式和运动规律是一个很重要的任务。提取人群中的 appearance and dynamic information 还是比较难得。理论上,我们首先将感兴趣的目标从背景中分割出来,将其分门别类,然后再对每个物体进行跟踪,最后综合所有信息得到一个全局的理解。但是这么做似乎太难了。

深度学习能够解决上面的挑战吗?当前CNN网络可以提取图像中的 strong generic appearance 信息。但是他们缺乏学习 dynamic representation 的关键能力。当前采取的做法一般是将 2D 的 CNN 拓展到 3D CNN, 使用 3D 滤波器 将 appearance and dynamic feature 混在一起学习表示。但是 appearance and dynamic feature 应该被区分对待,因为他们的表达方式不一样,传递的信息也不一样。也有尝试区分对待 appearance and dynamic 特征,但是 这些方法在输入层就丢失了关键的 dynamic information these methods lose critical dynamic information at the input layer.

我们提出了一个 Slicing CNN (S-CNN) 网络, appearance and dynamics 即被独立的提取,有在semantic 层面上有机的融合到一起 appearance and dynamics have separate representations yet they interact seamlessly at semantic level

3 Slicing CNN Model

我们首先对视频中的每一帧图像 使用一个 2D CNN模型 来学习 appearance 特征,得到一个 semantic feature cuboids 集合(一组滤波器学习到的特征图),每个feature cuboid 捕获一个 独立的信息 visual pattern, or an object instance/category。 基于这些提取到的 feature cuboids,我们分别引入 三类滤波器(xy-, xt-, and yt-)来学习不同维度的 appearance and dynamic features, 接着我们在每个分支后面使用一个 1D 的 temporal pooling layer,接着我们将所有的特征向量 concatenated,再输入到一个 SVM 分类器中,完成 crowd attribute 的分类工作。

3.1. Semantic Selectiveness of Feature Maps 最近的研究显示 图像相关的CNN模型中的 2D 滤波器 具有很强的选择性 posses strong selectiveness on patterns corresponding to object categories and object identities

通过上面观察到的现象,我们可以从上面的特征集中将运动物体和背景的干扰区分开来,这样可以更好的分析人群的行为 Motivated by the aforementioned observations, we could actually exploit such feature cuboids to separately monitor the movements of different object categories, both spatially and temporally, while reducing the interference caused by the background clutter and irrelevant objects

3.2. Feature Map Pruning 这里主要是将背景的运动信息剔除,提取人群的动态信息 The selectiveness of feature cuboids allows us to design models on a particular set of feature cuboids so as to capture crowd-related dynamic patterns and reject motions from irrelevant background contents.

通过定义 affinity score and conspicuous score 来度量 哪个滤波器是我们需要的,哪个滤波器不是我们需要的。

3.3. Semantic Temporal Slices 这里我们将 3D 的信息 用 2D temporal slices 来表示 dynamic feature representations can also be described from 2D temporal slices that cut across 3D volume from another two orthogonal planes, as xt- or yt-slices

但是 xt 或 yt 没有将不同物体的运动区分开来,因为它们没有提取将物体分割独立出来 It is not a trivial task to divide their motion patterns apart without identifying these objects at first

这里我们 提出 从 semantic feature cuboids 提取 Semantic Temporal Slice (STS) Semantic Temporal Slice (STS) extracted from semantic feature cuboids, which are obtained from the xy convolutional layers,

这么做的好处是:不同物体的信息可以区分开来 such kind of slices can distinguish and purify the dynamic representation for a certain semantic pattern without the interference from other objects, instances or visual patterns inside one temporal slice. Furthermore, given multiple STSs extracted from different horizontal and vertical probe lines and fed into S-CNN, their information can be combined to learn long-range dynamic features.

4 S-CNN Deep Architecture 4.1. Single Branch of S-CNN Model 首先我们用 VGG 网络的前面卷积层提取 spatial semantic feature maps VGG-16 from conv1_1 to conv4_3_1 to extract spatial semantic feature maps

接着是三个分支: S-CNN-xy branch:传统意义上的卷积 The S-CNN-xy branch learns spatio- temporal features from the xy-plane by xy-convolutional filters. convolving feature maps with xy-filters from VGG16 conv5_1 to conv5_3

S-CNN-xt / -yt branch

这里主要是维度的变换 we first swap dimensions of the original xy-plane to the corresponding xt- or yt-plane. 卷积完之后还要变回来

4.2. Combined S-CNN Model 三个分支信息的融合,每个属性使用一个 SVM 分类器,一共 94个分类器 We train a SVM independently for each attribute, thus there are 94 models in total.

5 Experiments

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

直观理解深度学习卷积部分

近几年随着功能强大的深度学习框架的出现,在深度学习模型中搭建卷积神经网络变得十分容易,甚至只需要一行代码就可以完成。

1072
来自专栏磐创AI技术团队的专栏

干货 | 基于深度学习的目标检测算法综述(三)

目标检测(Object Detection)是计算机视觉领域的基本任务之一,学术界已有将近二十年的研究历史。近些年随着深度学习技术的火热发展,目标检测算法也从基...

2841
来自专栏AI科技大本营的专栏

阿里团队最新实践:如何解决大规模分类问题?

【AI科技大本营导读】近年来,深度学习已成为机器学习社区的一个主要研究领域。其中一个主要挑战是这种深层网络模型的结构通常很复杂。对于一般的多类别分类任务,所需的...

821
来自专栏智能算法

卷积神经网络工作原理直观解释

其实我们在做线性回归也好,分类(逻辑斯蒂回归)也好,本质上来讲,就是把数据进行映射,要么映射到一个多个离散的标签上,或者是连续的空间里面,一般简单的数据而言,我...

3109
来自专栏CVer

大牛分享 | 基于深度学习的目标检测算法综述(三)

1. Two/One stage算法改进。这部分将主要总结在two/one stage经典网络上改进的系列论文,包括Faster R-CNN、YOLO、SSD等...

1730
来自专栏机器之心

学界 |「分段映射」帮助利用少量样本习得新类别细粒度分类器

1902
来自专栏云时之间

深度学习与神经网络:BP神经网络

BP神经网络现在来说是一种比较成熟的网络模型了,因为神经网络对于数字图像处理的先天优势,特别是在图像压缩方面更具有先天的优势,因此,我这一段时间在研究神经网络的...

4379
来自专栏人工智能LeadAI

计算机视觉中 RNN 应用于目标检测

深度学习在计算机视觉领域取得的巨大的发展,最近几年CNN一直是目前主流模型所采取的架构。最近半年RNN/LSTM应用在识别领域逐渐成为一种潮流,RNN在获取目标...

5495
来自专栏智能算法

卷积神经网络工作原理直观解释

其实我们在做线性回归也好,分类(逻辑斯蒂回归)也好,本质上来讲,就是把数据进行映射,要么映射到一个多个离散的标签上,或者是连续的空间里面,一般简单的数据而言,我...

3205
来自专栏智能算法

经典的图像匹配算法----SIFT

一. SIFT简介 1.1 算法提出的背景: 成像匹配的核心问题是将同一目标在不同时间、不同分辨率、不同光照、不同位姿情况下所成的像相对应。传统的匹配算法往往是...

9576

扫码关注云+社区