人群场景分析--Slicing Convolutional Neural Network for Crowd Video Understanding

Slicing Convolutional Neural Network for Crowd Video Understanding CVPR2016 http://www.ee.cuhk.edu.hk/~jshao/SCNN.html Caffe code: https://github.com/amandajshao/Slicing-CNN

本文也是使用CNN网络对一段视频进行分析,网络输出是关于视频的 94个属性,主要关于 “ Who is in the crowd?”, “Where is the crowd?”, and “Why is crowd here?“ 类似 Deeply Learned Attributes for Crowded Scene Understanding,只不过使用的网络结构不一样。 本文最大的特色是 decomposition of 3D feature maps into 2D spatio- and 2D temporal-slices representations, 将视频中的 xyt 信息分解为 xy, xt 和 yt 三类信息。 这里的 t 表示时间轴, xy 表示 空间坐标

1 Introduction 理解人群的行为模式和运动规律是一个很重要的任务。提取人群中的 appearance and dynamic information 还是比较难得。理论上,我们首先将感兴趣的目标从背景中分割出来,将其分门别类,然后再对每个物体进行跟踪,最后综合所有信息得到一个全局的理解。但是这么做似乎太难了。

深度学习能够解决上面的挑战吗?当前CNN网络可以提取图像中的 strong generic appearance 信息。但是他们缺乏学习 dynamic representation 的关键能力。当前采取的做法一般是将 2D 的 CNN 拓展到 3D CNN, 使用 3D 滤波器 将 appearance and dynamic feature 混在一起学习表示。但是 appearance and dynamic feature 应该被区分对待,因为他们的表达方式不一样,传递的信息也不一样。也有尝试区分对待 appearance and dynamic 特征,但是 这些方法在输入层就丢失了关键的 dynamic information these methods lose critical dynamic information at the input layer.

我们提出了一个 Slicing CNN (S-CNN) 网络, appearance and dynamics 即被独立的提取,有在semantic 层面上有机的融合到一起 appearance and dynamics have separate representations yet they interact seamlessly at semantic level

3 Slicing CNN Model

我们首先对视频中的每一帧图像 使用一个 2D CNN模型 来学习 appearance 特征,得到一个 semantic feature cuboids 集合(一组滤波器学习到的特征图),每个feature cuboid 捕获一个 独立的信息 visual pattern, or an object instance/category。 基于这些提取到的 feature cuboids,我们分别引入 三类滤波器(xy-, xt-, and yt-)来学习不同维度的 appearance and dynamic features, 接着我们在每个分支后面使用一个 1D 的 temporal pooling layer,接着我们将所有的特征向量 concatenated,再输入到一个 SVM 分类器中,完成 crowd attribute 的分类工作。

3.1. Semantic Selectiveness of Feature Maps 最近的研究显示 图像相关的CNN模型中的 2D 滤波器 具有很强的选择性 posses strong selectiveness on patterns corresponding to object categories and object identities

通过上面观察到的现象,我们可以从上面的特征集中将运动物体和背景的干扰区分开来,这样可以更好的分析人群的行为 Motivated by the aforementioned observations, we could actually exploit such feature cuboids to separately monitor the movements of different object categories, both spatially and temporally, while reducing the interference caused by the background clutter and irrelevant objects

3.2. Feature Map Pruning 这里主要是将背景的运动信息剔除,提取人群的动态信息 The selectiveness of feature cuboids allows us to design models on a particular set of feature cuboids so as to capture crowd-related dynamic patterns and reject motions from irrelevant background contents.

通过定义 affinity score and conspicuous score 来度量 哪个滤波器是我们需要的,哪个滤波器不是我们需要的。

3.3. Semantic Temporal Slices 这里我们将 3D 的信息 用 2D temporal slices 来表示 dynamic feature representations can also be described from 2D temporal slices that cut across 3D volume from another two orthogonal planes, as xt- or yt-slices

但是 xt 或 yt 没有将不同物体的运动区分开来,因为它们没有提取将物体分割独立出来 It is not a trivial task to divide their motion patterns apart without identifying these objects at first

这里我们 提出 从 semantic feature cuboids 提取 Semantic Temporal Slice (STS) Semantic Temporal Slice (STS) extracted from semantic feature cuboids, which are obtained from the xy convolutional layers,

这么做的好处是:不同物体的信息可以区分开来 such kind of slices can distinguish and purify the dynamic representation for a certain semantic pattern without the interference from other objects, instances or visual patterns inside one temporal slice. Furthermore, given multiple STSs extracted from different horizontal and vertical probe lines and fed into S-CNN, their information can be combined to learn long-range dynamic features.

4 S-CNN Deep Architecture 4.1. Single Branch of S-CNN Model 首先我们用 VGG 网络的前面卷积层提取 spatial semantic feature maps VGG-16 from conv1_1 to conv4_3_1 to extract spatial semantic feature maps

接着是三个分支: S-CNN-xy branch:传统意义上的卷积 The S-CNN-xy branch learns spatio- temporal features from the xy-plane by xy-convolutional filters. convolving feature maps with xy-filters from VGG16 conv5_1 to conv5_3

S-CNN-xt / -yt branch

这里主要是维度的变换 we first swap dimensions of the original xy-plane to the corresponding xt- or yt-plane. 卷积完之后还要变回来

4.2. Combined S-CNN Model 三个分支信息的融合,每个属性使用一个 SVM 分类器,一共 94个分类器 We train a SVM independently for each attribute, thus there are 94 models in total.

5 Experiments

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

学界 | 世界权威评测冠军:百度人脸检测算法PyramidBox

选自arXiv 机器之心编译 近日,百度凭借全新的人脸检测深度学习算法 PyramidBox,在世界最权威的人脸检测公开评测集 WIDER FACE 的「Eas...

3465
来自专栏AI科技评论

从模糊到清晰,AI对图片的识别越来越精准| Facebook CVPR2016最新论文

图像边缘的无监督学习 摘要 数据驱动方法在边缘检测领域已被证明是有效的,且在最近的基准测试中取得了顶尖的成绩。然而,目前所有数据驱动的边缘检测都要求以手工标注区...

31110
来自专栏机器学习、深度学习

视频中的运动特征--Learning Motion Patterns in Videos

Learning Motion Patterns in Videos CVPR2017 Torch code: http://thoth.inria...

1986
来自专栏CreateAMind

深度学习调参有哪些技巧?

最近因为一些需要,参与了一些CNN建模调参的工作,出于个人习性,我并不习惯于通过单纯的trial-and-error的方式来调试经常给人以”black-box...

1344
来自专栏专知

【干货】2017最火的五篇深度学习论文 总有一篇适合你

【导读】最近,MIT博士生学生GREGORY J STEIN在博客中总结了2017年他最喜欢的深度学习论文,并且列出了这一年对他研究思考影响最深的五篇论文,其中...

28511
来自专栏机器之心

ICIP2018 | 图像鉴黄做得好,健康上网少烦恼

作者:Xizi Wang, Feng Cheng, Shilin Wang*, Huanrong Sun, Gongshen Liu, ChengZhou

933
来自专栏AI研习社

干货 | 深度学习调参有哪些技巧?

本文将分享一些自己关于深度学习模型调试技巧的总结思考(以CNN为主)。 最近因为一些需要,参与了一些CNN建模调参的工作,出于个人习性,我并不习惯于通过单纯的t...

51213
来自专栏鸿的学习笔记

朴素贝叶斯学习笔记

X其实是“具有某类特征”,Y理解为“类别标签”。在最简单的二分类问题下,Y可以理解为“属于某类”标签。

772
来自专栏AI科技评论

开发 | 深度学习调参入门,有哪些技巧?

AI科技评论按:作者杨军,从事大规模机器学习系统研发及应用相关工作。本文整理自知乎,已获作者授权。 本文将分享一些自己关于深度学习模型调试技巧的总结思考(以CN...

3417
来自专栏IT派

深度学习调参入门之小技巧

导语:按照惯例,主推文只能推送内容相关的东西,但是今天同日推文里有一个很有趣的文章,大家有兴趣的不妨移步去一探究竟! AI科技评论按:作者杨军,从事大规模机器学...

2633

扫码关注云+社区