人群密度估计--Generating High-Quality Crowd Density Maps using Contextual Pyramid CNNs

Generating High-Quality Crowd Density Maps using Contextual Pyramid CNNs ICCV2017

针对人群密度估计问题,本文主要从 incorporating global and local contextual information 来降低人群密度估计误差 使用多个CNN网络来估计不同尺度的 context 来帮助人群密度估计 The proposed method uses CNN networks to estimate context at various levels for achieving lower count error and better quality density maps

和文献【50】的对比

当前方法在人群低密度和高密度时,估计的误差都比较大 A potential solution is to use contextual information during the learning process.

2 Related work Regression-based approaches. 为了克服遮挡和背景运动产生的干扰,这类方法使用回归方法,学习一个映射,learn a mapping between features extracted from local image patches to their counts,这类方法包含两个模块: low-level feature extraction and regression modeling

Density estimation-based approaches 回归方法虽然解决了 occlusion and clutter 的问题,但是他们忽视了重要的空间信息,只给出了一个人群总人数。密度估计方法主要学习 local patch features and density maps 之间的映射关系

CNN-based methods 尝试各种 CNN网络来完成 人群总数估计和人群密度图生成。

对于以前各种方法分析,我们认为有以下几点问题: 1)这些方法都没有显示的嵌入 context 信息,而 context 信息对提升性能很有帮助 2)当前基于回归的密度图估计方法更侧重降低人群总数估计误差,而不是侧重人群密度图的质量 3)当前的 CNN 网络基本都是使用 像素级欧式损失函数来训练网络,这导致密度图比较模糊。

3 Proposed method (CP-CNN)

GCE and LCE 分别提取图像的 global and local context 信息 DME is a multi-column CNN that performs the initial task of transforming the input image to high-dimensional feature maps F-CNN 综合GCE 、LCE 、 DME的结果 produce high-resolution and high-quality density maps

3.1. Global Context Estimator (GCE) 这里我们是如何表示 global context 的信息了? 我们将 global context 和图像的密度等级联系起来,这里我们将图像人群密度等级分为五类:extremely low-density (ex-lo), low-density (lo), medium-density (med), high-density (hi) and extremely high-density (ex-hi) 当然具体分多少类 这个和数据库密度变化范围有关,但是我们发现仅适用五类就可以明显提升密度图估计效果

这里我们使用一个 CNN网络 将输入图像进行分类,根据人群密度分为5类, a VGG-16 [31] based network is fine-tuned with the crowd training data

VGG-16 所有的卷积层被保留不变,后面的三个全连接层被替换为不同配置的全连接层,为了完成5分类。后面两个卷积层参数被微调,其他卷积层参数固定不变。

3.2. Local Context Estimator (LCE) 当前的人群密度估计方法更侧重于降低人群总数估计的误差,所以它们的人群密度图质量相对降低,我们相信 some kind of local contextual information 能够帮助我们提升密度图质量。和 GCE 思路类似,这里我们使用一个 CNN网络 将图像根据其人群密度分为5类, {ex-lo, lo,med, hi, ex-hi}

3.3. Density Map Estimator (DME) DME 主要讲输入图像映射到一组 high-dimensional feature maps,这里我们受文献【50】的启发,采用 multi-column architecture

虽然在这里我们可以通过增加 the filter sizes and number of columns 来解决人群密度变化范围大的问题,但是这么做一方面很难适用于不同数据库,另一个方面计算量较大

3.4. Fusion-CNN (F-CNN) 这里我们将前面学习到的3类特征组合起来。 F-CNN is constructed using a set of convolutional and fractionally-strided convolutional layers. The set of fractionally-strided convolutional layers help us to restore details in the output density maps. The following structure is used for F-CNN: CR(64,9)-CR(32,7)- TR(32)-CR(16,5)-TR(16)-C(1,1) C is convolutional layer, R is ReLU layer, T is fractionally-strided convolution layer

这里我们参考了 GANs, 将 adversarial loss 引入进来。 improve the quality of density maps by minimizing a weighted combination of pixel-wise Euclidean loss and adversarial loss.

5 Experimental results ShanghaiTech Part A

UCF CC 50 dataset

WorldExpo’10 dataset

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

震撼!英伟达用深度学习做图像修复,毫无ps痕迹

2405
来自专栏AI科技评论

开发 | 变形卷积核、可分离卷积?卷积神经网络中十大拍案叫绝的操作

AI 科技评论按:本文作者Professor ho,原文载于其知乎主页,AI 科技评论获其授权发布。 从2012年的AlexNet发展至今,科学家们发明出各种各...

3436
来自专栏腾讯技术工程官方号的专栏

【AAAI 2018】腾讯 AI Lab 11篇论文精选:图像描述、NMT 模型、图卷积神经网络、DNN优化等

AAAI 2018 将于2月2日至7日在美国新奥尔良举行, 腾讯 AI Lab 有11篇论文被录用,本文精选了11篇论文的精彩内容。

71110
来自专栏数据派THU

独家 | 一文读懂贝叶斯分类算法(附学习资源)

贝叶斯分类是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类。本文首先介绍分类问题,给出分类问题的定义。随后介绍贝叶斯分类算法的基础——贝叶...

2045
来自专栏人工智能头条

卷积神经网络中十大拍案叫绝的操作

1072
来自专栏Albert陈凯

什么是深度学习,几个名词的简单形象通俗解释,让你看就记住

这个故事包含了,有监督,无监督,训练数据集,测试数据集,过拟合 ---- 第一眼看到“学习”,大多数人想到的是读书、上课、写作业,我们就拿它作为切入点。上课时,...

6437
来自专栏大数据挖掘DT机器学习

机器学习你必须知道的几点知识

读了两篇文章,第一篇是以前老师推荐的《A Few Useful Things to Know About Machine Learning》,里面介强调了几个机...

34111
来自专栏机器之心

业界 | 图鸭科技获CVPR 2018图像压缩挑战赛单项冠军,技术解读端到端图像压缩框架

CHALLENGE ON LEARNED IMAGE COMPRESSION 挑战赛由 Google、Twitter、Amazon 等公司联合赞助,是第一个由计...

882
来自专栏新智元

一文读完GitHub30+篇顶级机器学习论文(附摘要和论文下载地址)

作者:常佩琦 弗格森 【新智元导读】 今天介绍Github上的开源项目,专门用于更新最新的研究突破,具体说来,就是什么算法在哪一个数据集上取得了state-of...

45111
来自专栏CSDN技术头条

卷积神经网络中十大拍案叫绝的操作

CNN从2012年的AlexNet发展至今,科学家们发明出各种各样的CNN模型,一个比一个深,一个比一个准确,一个比一个轻量。我下面会对近几年一些具有变革性的工...

44810

扫码关注云+社区