人群分析综述--Crowd Scene Understanding from Video: A Survey

Crowd Scene Understanding from Video: A Survey ACM Trans. Multimedia Comput. Commun. Appl., Vol. 13, No. 2, Article 19, Publication date: March 2017

针对人群密集场景理解,这篇综述主要关注两个方向:crowd statistics and behavior understanding 人群统计和行为理解

2 Crowd counting 人群计数目前从两个角度来解决,一类方法是回归计数,直接得到图像中总人数的估计,另一类方法是先估计密度图,再有密度图积分求和得到总人数。目前来说密度图提供的信息更多些,得到的精度相对也更高些。这里我们将所有人群计数方法划分为六类:pixel-level analysis, texture-level analysis, object-level analysis, line counting, density mapping, and joint detection and counting

2.1. Pixel-Level Analysis 基于像素水平的分析主要从边缘检测开始,用边缘特征(长度、方向等)来训练一个模型用于人群密度图的估计 begin with edge detection and use edge features (length, orientation, etc.) to train a model

2.2. Texture-Level Analysis 基于纹理的分析对象是图像块,通常使用 statistical, structural, or spectral analyses 来提取特征 coarser grained than pixel-based methods and aims to analyze image patches,use statistical, structural, or spectral analyses to extract features.

基于像素和基于纹理都是得到总人数,它们不能区分出个体

2.3. Object-Level Analysis 检测出单个个体,精度相对较高,但是只适用于低密度场景 identify individual subjects in a scene, applicable to lower density crowds 这里有一篇文献是基于深度和颜色信息来统计人流量,相机安装方式是垂直的。 People-flow counting in complex environments by combining depth and color information

2.4. Line Counting 这类方法主要统计穿越一条线的人流量

2.5. Density Mapping 估计密度图,目前很多基于CNN深度学习的方法都是用于估计人群密度图的 estimates the density of the scene

2.6. Joint Detection and Counting 利用密度图来更好的做检测和计数 makes use of density maps to better detect and count objects within the scene

Challenging problems still exist in measuring large crowds with high densities. These challenges also require good data with images taken at a variety of standoffs, angles, and resolutions and ground-truth labels for comparisons.

人群计数的挑战性还是很大的,尤其是高密度人群的场景,还是非常需要大量数据来驱动算法性能的提升。

3 Behavior analysis 最基本的行为分析就是 normal behavior and abnormal behavior,对于人群密度场所我们主要提取 Dominant motion,对于不是很密度的场景,则是分析 group interactions,也就是小人群的行为。本文主要关注以下三个方面的内容:1)abnormal behavior detection,2)dominant motion extraction,3) group behavior detection

3.1. Abnormal Behavior Detection 什么是异常行为了? any deviation from the normal crowd flow is considered abnormal activity 这里主要基于场景中的运动信息来判断是否有异常行为的存在,前后运动信息的对比

3.2. Dominant Motion Extraction 主要是提取图像中的主要运动信息

3.3. Group Behavior Detection 主要侧重小规模人群聚集的行为分析

3.4. Crowd Analysis and Tracking 对于密集人群的跟踪难度还是很大

4 Crowd video datasets

4.1. Crowd Counting 主要有以下几个数据库:The WorldExpo’10 Crowd Counting Dataset [Zhang et al. 2015], the UCSDdataset [Chan et al. 2008], and the UCF Crowd Counting dataset [Idrees et al. 2013]

4.2. Group Detection 主要有以下几个数据库:The MuseumVisitors [Bartoli et al. 2015], Collective Motion [Zhou et al. 2014], student003 [Solera et al. 2015], and GVEII [Solera et al. 2015] datasets were constructed for group detection. In addition, the Grand Central Station dataset [Zhou et al. 2012] and the Mall dataset [Loy et al. 2013] contain similar attributes as the those previously listed in this group. MuseumVisitors is a dataset for pedestrian and group detection, gaze estimation, and behavior understanding.

4.3. Behavior Understanding The Unusual Crowd Activity dataset [University of Minnesota 2006], 2009 Performance Evaluation of Tracking and Surveillance (PETS2009) dataset [Ferryman and Shahrokni 2009], and Collective Activity dataset [Choi et al. 2009] are purposed for crowdbehaviorunderstanding.

4.4. Holistic Crowd Movement The Meta-Tracking for Video Scene Understanding dataset [Jodoin et al. 2013], Data-Driven Crowd Analysis dataset [Rodriguez et al. 2011b], Crowd Segmentation dataset [Ali and Shah 2007], and the Chinese University of Hong Kong (CUHK) Crowd dataset [Shao et al. 2014] are largely developed from online video repositories

4.5. Synthetic The Agoraset dataset [Allain et al. 2012] is a graphical rendering of crowd sequences with associated ground truths, which include include individual trajectories of pedestrians inside the crowd, crowd density, and the velocity field. Seven environments, also called scenes, were created using crowd models proposed by Helbing et al. [2000]

总体来说深度学习对于人群分析正处于方兴未艾阶段!

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏云时之间

神奇的级数求和

大家好,这一篇文章是我在看完了网上的一个关于级数的证明之后,发现级数是如此神奇,在朋友圈分享了之后,引起了很多人的讨论,于是我想来探索下这个级数的定义,准备好,...

3077
来自专栏专知

【论文推荐】最新5篇情感分析相关论文—深度学习情感分析综述、情感分析语料库、情感预测性、上下文和位置感知的因子分解模型、LSTM

【导读】专知内容组整理了最近五篇情感分析(Sentiment Analysis)相关文章,为大家进行介绍,欢迎查看! 1. Deep Learning for ...

3595
来自专栏华章科技

再说深度学习是黑匣子,就把这篇文章糊 Ta 脸上

导语:可视化不只是画画那么简单,它或许是我们理解神经网络的世界的方法。PS:标题是作者说的,不是我说的,要打,就打他(逃

893
来自专栏机器之心

学界 | 谷歌《Cell》论文:使用深度学习,直接对细胞影像生成荧光标记

选自Google Research 机器之心编译 很多常用的细胞标记方法有明显的缺点,包括不一致性、空间重叠、物理干预等。近日,谷歌利用深度学习方法即「in s...

3168
来自专栏AI研习社

限制玻尔兹曼机 - 深度学习之父 Geoffrey Hinton 的神经网络第 12 课(中文字幕)

作为深度学习祖师,Geoffrey Hinton 的每一句每一言,都使学习者如奉纶音。浓缩其毕生所学的《Neutral Network for Machine ...

3454
来自专栏数据科学与人工智能

【机器学习】机器学习和计算机视觉相关的数学

MIT一牛人对数学在机器学习中的作用给的评述,写得很实际 机器学习和计算机视觉都是很多种数学的交汇场。看着不同的理论体系的交汇,对于一个researcher来说...

2548
来自专栏机器之心

学界 | 上海交大卢策吾团队开源PointSIFT刷新点云语义分割记录

论文:PointSIFT: A SIFT-like Network Module for 3D Point Cloud Semantic Segmentatio...

1473
来自专栏机器学习算法与Python学习

干货 | 自然语言处理(3)之词频-逆文本词频(TF-IDF)详解

关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第一 【Python】:排名第三 【算法】:排名第四 前言 在()中讲到在文本挖掘预处理中...

4145
来自专栏新智元

【虫二】的人工智能

艺术创作一直是人类精神活动的最高级形式,自古以来,人们认为只有人类的智慧才能真正领悟艺术作品的深远意境和奥妙神韵,玄而又玄的艺术风格更是只可意会,不可言传。近些...

34711
来自专栏Python中文社区

深度学习入门:用MNIST完成Autoencoder(续)

專 欄 ❈那只猫,Python中文社区专栏作者,Python中文社区新Logo设计人,纯种非CS科班数据分析人,沉迷Keras。在Cambridge做了点小...

1858

扫码关注云+社区