人群分析--ResnetCrowd: A Residual Deep Learning Architecture

ResnetCrowd: A Residual Deep Learning Architecture for Crowd Counting, Violent Behaviour Detection and Crowd Density Level Classification (AVSS 2017) 2017 14th IEEE International Conference on Advanced Video and Signal based Surveillance

本文针对人群分析提出 ResnetCrowd，一个基于 Residual 深度学习架构 实现多任务学习： 同时完成三个任务， crowd counting, violent behaviour detection and crowd density level classification，为了训练和评估ResnetCrowd，我们建立了一个 100张图像的数据库 Multi Task Crowd

这三个任务都有独立的文献进行分析和研究，但是使用一个网络同时完成上述任务还没被提出来。我们发现这些任务可以相互促进彼此的性能提升

首先来看看这个数据库 3 Multi Task Crowd Dataset 数据库由 100 张图像组成，每个图像有以下标记信息： 1） a discrete density level in the range 1-5 人群密度等级 2）an overall crowd count value, 总人数 3）head locations for each person in the scene 每个人头位置 4）binary labels indicating the presence or absence of the “Mob” and“Fight” behaviour concepts 有无暴力现象

4 ResnetCrowd 本文的 ResnetCrowd 是基于 文献【6】中的 Resnet18 network，前五层的卷积网络如下所示：

前五层的卷积之后就是 a set of task specific layers are added to ResnetCrowd 针对特定任务的网络层

每个任务的损失函数如下： Behaviour Recognition

Density Level Classification

Regression Based Crowd Counting

Heatmap Based Crowd Counting

total loss

5 Experimental Results