人群分析综述--Crowd Scene Understanding from Video: A Survey

Crowd Scene Understanding from Video: A Survey ACM Trans. Multimedia Comput. Commun. Appl., Vol. 13, No. 2, Article 19, Publication date: March 2017

针对人群密集场景理解,这篇综述主要关注两个方向:crowd statistics and behavior understanding 人群统计和行为理解

2 Crowd counting 人群计数目前从两个角度来解决,一类方法是回归计数,直接得到图像中总人数的估计,另一类方法是先估计密度图,再有密度图积分求和得到总人数。目前来说密度图提供的信息更多些,得到的精度相对也更高些。这里我们将所有人群计数方法划分为六类:pixel-level analysis, texture-level analysis, object-level analysis, line counting, density mapping, and joint detection and counting

2.1. Pixel-Level Analysis 基于像素水平的分析主要从边缘检测开始,用边缘特征(长度、方向等)来训练一个模型用于人群密度图的估计 begin with edge detection and use edge features (length, orientation, etc.) to train a model

2.2. Texture-Level Analysis 基于纹理的分析对象是图像块,通常使用 statistical, structural, or spectral analyses 来提取特征 coarser grained than pixel-based methods and aims to analyze image patches,use statistical, structural, or spectral analyses to extract features.

基于像素和基于纹理都是得到总人数,它们不能区分出个体

2.3. Object-Level Analysis 检测出单个个体,精度相对较高,但是只适用于低密度场景 identify individual subjects in a scene, applicable to lower density crowds 这里有一篇文献是基于深度和颜色信息来统计人流量,相机安装方式是垂直的。 People-flow counting in complex environments by combining depth and color information

2.4. Line Counting 这类方法主要统计穿越一条线的人流量

2.5. Density Mapping 估计密度图,目前很多基于CNN深度学习的方法都是用于估计人群密度图的 estimates the density of the scene

2.6. Joint Detection and Counting 利用密度图来更好的做检测和计数 makes use of density maps to better detect and count objects within the scene

Challenging problems still exist in measuring large crowds with high densities. These challenges also require good data with images taken at a variety of standoffs, angles, and resolutions and ground-truth labels for comparisons.

人群计数的挑战性还是很大的,尤其是高密度人群的场景,还是非常需要大量数据来驱动算法性能的提升。

3 Behavior analysis 最基本的行为分析就是 normal behavior and abnormal behavior,对于人群密度场所我们主要提取 Dominant motion,对于不是很密度的场景,则是分析 group interactions,也就是小人群的行为。本文主要关注以下三个方面的内容:1)abnormal behavior detection,2)dominant motion extraction,3) group behavior detection

3.1. Abnormal Behavior Detection 什么是异常行为了? any deviation from the normal crowd flow is considered abnormal activity 这里主要基于场景中的运动信息来判断是否有异常行为的存在,前后运动信息的对比

3.2. Dominant Motion Extraction 主要是提取图像中的主要运动信息

3.3. Group Behavior Detection 主要侧重小规模人群聚集的行为分析

3.4. Crowd Analysis and Tracking 对于密集人群的跟踪难度还是很大

4 Crowd video datasets

4.1. Crowd Counting 主要有以下几个数据库:The WorldExpo’10 Crowd Counting Dataset [Zhang et al. 2015], the UCSDdataset [Chan et al. 2008], and the UCF Crowd Counting dataset [Idrees et al. 2013]

4.2. Group Detection 主要有以下几个数据库:The MuseumVisitors [Bartoli et al. 2015], Collective Motion [Zhou et al. 2014], student003 [Solera et al. 2015], and GVEII [Solera et al. 2015] datasets were constructed for group detection. In addition, the Grand Central Station dataset [Zhou et al. 2012] and the Mall dataset [Loy et al. 2013] contain similar attributes as the those previously listed in this group. MuseumVisitors is a dataset for pedestrian and group detection, gaze estimation, and behavior understanding.

4.3. Behavior Understanding The Unusual Crowd Activity dataset [University of Minnesota 2006], 2009 Performance Evaluation of Tracking and Surveillance (PETS2009) dataset [Ferryman and Shahrokni 2009], and Collective Activity dataset [Choi et al. 2009] are purposed for crowdbehaviorunderstanding.

4.4. Holistic Crowd Movement The Meta-Tracking for Video Scene Understanding dataset [Jodoin et al. 2013], Data-Driven Crowd Analysis dataset [Rodriguez et al. 2011b], Crowd Segmentation dataset [Ali and Shah 2007], and the Chinese University of Hong Kong (CUHK) Crowd dataset [Shao et al. 2014] are largely developed from online video repositories

4.5. Synthetic The Agoraset dataset [Allain et al. 2012] is a graphical rendering of crowd sequences with associated ground truths, which include include individual trajectories of pedestrians inside the crowd, crowd density, and the velocity field. Seven environments, also called scenes, were created using crowd models proposed by Helbing et al. [2000]

总体来说深度学习对于人群分析正处于方兴未艾阶段!

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能

长时间序贯任务结构的演示学习方法及其在手术机器人中的应用

本文总结了最近三篇论文的结果,这些论文提出了一些可以将更长的任务分解成更短子任务的学习算法。

33510
来自专栏智能算法

Yoshua Bengio等大神传授:26条深度学习经验

原文地址:http://www.marekrei.com/blog/26-things-i-learned-in-the-deep-learning-summe...

3586
来自专栏专知

【干货】30+深度学习最佳实践经验:从数据、算法、训练到网络结构

2687
来自专栏新智元

【榜单】GitHub 最受欢迎深度学习应用项目 Top 16(持续更新)

【新智元导读】新智元不久前盘点了2016年 Top50 的深度学习库,本文则根据 GitHub里星标(Star)数多少,整理了排名前16的深度学习应用项目,从风...

4189
来自专栏AI研习社

深度学习如何入门?

关于深度学习,网上的资料很多,不过貌似大部分都不太适合初学者。 这里有几个原因: 1. 深度学习确实需要一定的数学基础。如果不用深入浅出地方法讲,有些读者就会有...

3106
来自专栏专知

CMU邢波教授:基于双向语言模型的生物医学命名实体识别,无标签数据提升NER效果

【导读】生物医学文本挖掘领域近年来受到越来越多的关注,这得益于,科学文章,报告,医疗记录的电子化,使医疗数据更容易得到。这些生物医学数据包含许多生物和医学实体,...

4217
来自专栏CSDN技术头条

8个深度学习方面的最佳实践

【摘要】本文介绍了作者在深度学习的课程中学到的八个非常有用的技巧。以下是译文。 我很开心自己在过去的2017年中在人工智能领域获得的成就。我也学了不少数学方面的...

2348
来自专栏机器人网

十种深度学习算法要点及代码解析

谷歌董事长施密特曾说过:虽然谷歌的无人驾驶汽车和机器人受到了许多媒体关注,但是这家公司真正的未来在于机器学习,一种让计算机更聪明、更个性化的技术。 也许我们生活...

8747
来自专栏IT派

二十六条深度学习经验,来自蒙特利尔深度学习

【前言】2016年8月初的蒙特利尔深度学习暑期班,由Yoshua Bengio、 Leon Bottou等大神组成的讲师团奉献了10天精彩的讲座,剑桥大学自然语...

3127
来自专栏机器学习算法工程师

一种简单有效的网络结构搜索

这篇文章主要介绍了一种方法用于解决网络结构搜索中,搜索空间过大且训练时间过长,算力要求过高的问题。运用了爬山算法来搜索优秀的网络结构,主要是用了一个很nb的技术...

1101

扫码关注云+社区