人群密度估计--Generating High-Quality Crowd Density Maps using Contextual Pyramid CNNs

Generating High-Quality Crowd Density Maps using Contextual Pyramid CNNs ICCV2017

针对人群密度估计问题,本文主要从 incorporating global and local contextual information 来降低人群密度估计误差 使用多个CNN网络来估计不同尺度的 context 来帮助人群密度估计 The proposed method uses CNN networks to estimate context at various levels for achieving lower count error and better quality density maps

和文献【50】的对比

当前方法在人群低密度和高密度时,估计的误差都比较大 A potential solution is to use contextual information during the learning process.

2 Related work Regression-based approaches. 为了克服遮挡和背景运动产生的干扰,这类方法使用回归方法,学习一个映射,learn a mapping between features extracted from local image patches to their counts,这类方法包含两个模块: low-level feature extraction and regression modeling

Density estimation-based approaches 回归方法虽然解决了 occlusion and clutter 的问题,但是他们忽视了重要的空间信息,只给出了一个人群总人数。密度估计方法主要学习 local patch features and density maps 之间的映射关系

CNN-based methods 尝试各种 CNN网络来完成 人群总数估计和人群密度图生成。

对于以前各种方法分析,我们认为有以下几点问题: 1)这些方法都没有显示的嵌入 context 信息,而 context 信息对提升性能很有帮助 2)当前基于回归的密度图估计方法更侧重降低人群总数估计误差,而不是侧重人群密度图的质量 3)当前的 CNN 网络基本都是使用 像素级欧式损失函数来训练网络,这导致密度图比较模糊。

3 Proposed method (CP-CNN)

GCE and LCE 分别提取图像的 global and local context 信息 DME is a multi-column CNN that performs the initial task of transforming the input image to high-dimensional feature maps F-CNN 综合GCE 、LCE 、 DME的结果 produce high-resolution and high-quality density maps

3.1. Global Context Estimator (GCE) 这里我们是如何表示 global context 的信息了? 我们将 global context 和图像的密度等级联系起来,这里我们将图像人群密度等级分为五类:extremely low-density (ex-lo), low-density (lo), medium-density (med), high-density (hi) and extremely high-density (ex-hi) 当然具体分多少类 这个和数据库密度变化范围有关,但是我们发现仅适用五类就可以明显提升密度图估计效果

这里我们使用一个 CNN网络 将输入图像进行分类,根据人群密度分为5类, a VGG-16 [31] based network is fine-tuned with the crowd training data

VGG-16 所有的卷积层被保留不变,后面的三个全连接层被替换为不同配置的全连接层,为了完成5分类。后面两个卷积层参数被微调,其他卷积层参数固定不变。

3.2. Local Context Estimator (LCE) 当前的人群密度估计方法更侧重于降低人群总数估计的误差,所以它们的人群密度图质量相对降低,我们相信 some kind of local contextual information 能够帮助我们提升密度图质量。和 GCE 思路类似,这里我们使用一个 CNN网络 将图像根据其人群密度分为5类, {ex-lo, lo,med, hi, ex-hi}

3.3. Density Map Estimator (DME) DME 主要讲输入图像映射到一组 high-dimensional feature maps,这里我们受文献【50】的启发,采用 multi-column architecture

虽然在这里我们可以通过增加 the filter sizes and number of columns 来解决人群密度变化范围大的问题,但是这么做一方面很难适用于不同数据库,另一个方面计算量较大

3.4. Fusion-CNN (F-CNN) 这里我们将前面学习到的3类特征组合起来。 F-CNN is constructed using a set of convolutional and fractionally-strided convolutional layers. The set of fractionally-strided convolutional layers help us to restore details in the output density maps. The following structure is used for F-CNN: CR(64,9)-CR(32,7)- TR(32)-CR(16,5)-TR(16)-C(1,1) C is convolutional layer, R is ReLU layer, T is fractionally-strided convolution layer

这里我们参考了 GANs, 将 adversarial loss 引入进来。 improve the quality of density maps by minimizing a weighted combination of pixel-wise Euclidean loss and adversarial loss.

5 Experimental results ShanghaiTech Part A

UCF CC 50 dataset

WorldExpo’10 dataset

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

All In! 我学会了用强化学习打德州扑克

选自willtipton 机器之心编译 参与:Jane W、蒋思源 最近,强化学习(RL)的成功(如 AlphaGo)取得了大众的高度关注,但其基本思路相当简单...

30711
来自专栏大数据挖掘DT机器学习

基于VGG19的识别中国人、韩国人、日本人分类器

这是本学期机器学习课程的项目。通过这个项目了解了不少东西,希望通过博客记录下整个项目过程。 ---- 国外有一个网站 http://www.alllooksam...

4436
来自专栏PPV课数据科学社区

七种数据分析领域中最为人称道的降维方法

近来由于数据记录和属性规模的急剧增长,大数据处理平台和并行数据分析算法也随之出现。于此同时,这也推动了数据降维处理的应用。实际上,数据量有时过犹不及。有时在数...

3234
来自专栏AI科技评论

CVPR 2018 中国论文分享会之「视觉与语言」

本文为 2018 年 5 月 11 日在微软亚洲研究院进行的 CVPR 2018 中国论文宣讲研讨会中第四个 Session——「Vision and Lang...

933
来自专栏CreateAMind

变分自编码器(Variational Autoencoder, VAE)通俗教程,细节、基础、符号解释很齐全

现在有一个数据集DX(dataset, 也可以叫datapoints),每个数据也称为数据点。

823
来自专栏CreateAMind

变分自编码器(Variational Autoencoder, VAE)通俗教程,细节、基础、符号解释很齐全

1023
来自专栏大数据文摘

论文Express | 单幅RGB图像整体三维场景解析与重建

这项研究由加州大学洛杉矶分校(UCLA)的六位学者完成,并已被欧洲计算机视觉国际会议(ECCV)采纳。

721
来自专栏AI科技评论

学界 | 如何用未标注样本解决单标注样本下的视频行人重识别问题?

本文作者为悉尼科技大学博士生武宇(Yu Wu),他根据 CVPR 2018 录用论文 Exploit the Unknown Gradually: One-Sh...

621
来自专栏量子位

干货分享 | 详解特征工程与推荐系统及其实践(附PPT)

云脑科技机器学习训练营11月13日正式开始啦!量子位作为合作媒体独家为大家分享课程干货内容。 本期内容简介 主题:亿级用户电商平台推荐系统挑战 主讲人:张本宇(...

3284
来自专栏UAI人工智能

深度学习入门教程 第一讲

1123

扫码关注云+社区