【技术短文】基于深度负相关学习的人群计数方法

SIGAI 特邀作者:cnns

2018.7.18

原创声明:本文为 SIGAI 原创文章,仅供个人学习使用,未经允许,不得转载,不能用于商业目的。

1.人群计数

监控视频中的人群自动计数有着重要的社会意义和市场应用前景。充分利用兴趣区域的人数统计信息可以为一些人群密集的商场、车站、广场等公共场合的安全预警提供有效的指导。还可以带来经济效益,例如,提高服务质量、分析顾客行为、广告投放和优化资源配置等。因此,该问题已成为计算机视觉和智能视频监控领域的重要研究内容。

近年来,随着计算机视觉技术的持续发展,大量的人群计数方法被提出。基于人群特征回归人群人数的方法是当前的主流方法。此回归方法将人群视为一个整体,利用图像特征和人群人数之间的回归关系实现行人计数。这类方法能够有效地解决人群遮挡问题,具有大规模人群计数的能力。直接的回归一个图像中总的人数在实际中准确率不够理想,因为总人数所包含和表达的人群信息极其有限。近年来大多数基于回归的方法首先根据标注的人头位置和核密度估计生成每个人群图像所对应的人群密度图(如图1所示),然后基于人群特征回归人群密度图,最后计算人群密度图的数值总和作为最终的预测人数。人群密度图保留了人群的分布信息,因此包含了更多和更丰富的人群信息,这对于获得更准确的预测结果是非常关键的。

图1 人群密度图

2. 深度人群计数模型

深度学习通过多层结构将底层特征逐步转换为更加抽象的高层特征,具有优异的特征学习能力,学到的特征对数据有更本质的刻画。深度卷积神经网络(Convolutional neural network, CNN)是最成功的深度模型之一,在计算机视觉领域有着广泛的应用。CNN 凭借特有的卷积–池化 (Convolution-pooling) 结构获的特征对平移、缩放和旋转具有不变性,相比于底

层特征,判别能力和鲁棒性更强。近年来很多深度人群计数模型被提出(如图2所示),这些方法主要关注如何获取更好的人群特征用于描述更复杂人群,例如多尺度、严重遮挡和不均匀分布的人群。文献[1]首次提出将深度卷积神经网络用于人群计数,该方法基于深度卷积特征同时回归总人数和人群密度图。这种端到端的多任务学习方法法相比于传统方法具有准确率高和鲁棒性好的优点,但是对于多尺度的行人和严重遮挡问题效果并不理想。针对这些复杂的问题,文献[2]提出一种多列的深度卷积神经网络模型(Multi-column Convolutional neural network, MCNN)。在MCNN中,不同列实际上是具有不同卷积核的子网络,理论上不同子网络可以处理不同尺度的行人。通过大量实验验证,MCNN在处理多尺度的行人和严重遮挡问题时具有更好的效果。文献[3]进一步提出一种转换网络(Switching Convolutional Neural Network, Switch-CNN),该网络使用了几个卷积核大小和深度不同的CNN。Switch-CNN首先将图像分成多个图像块,然后根据图像块的内容信息来选择合适的CNN网络进行人群密度估计。Switch-CNN。该方法进一步提升了人群计数的准确率和对多尺度、遮挡的鲁棒性。然而由于显存和人群数据集规模的限制,人群网络的宽度和深度的增加是有限度的。当人群数据集比较小时,很深或很宽的人群模型的训练变得极其困难,很容易过拟合。

3. 集成学习

模型的回归误差可以被分解成偏置(Bias)和方差(Variance)。当模型出现过拟合问题时一般伴随着低偏置和高方差现象。集成学习一般通过显著减小方差来提高单一模型的泛化能力。基于这个角度,我们提出利用深度集成学习来提高人群计数的性能。

图2 当前深度人群计数模型

本文旨在解决以下两个技术难点:1)如何训练一组有足够多样性(Diversity)的深度回归器。文献[4]证明, 好的集成学习系统往往有着很强的多样性。2)如何有效地训练深度集成学习系统。传统的集成学习一般会独立的训练多个分类或回归器。除了低效率的缺陷以外,由于不同的回归器彼此之间没有限制,产生的回归器之间会有很强的相关性,进而降低了模型整体的多样性,从而导致模型抑制过拟合的能力受限。

4. 深度负相关学习

我们首次提出将负相关学习的思想应用在深度学习模型中。由于深度学习模型的参数众多,

图3 传统集成学习和负相关学习

同时训练多个深度学习模型往往需要很多工程技巧并且效率低下。因此,我们要解决的关键问题是如何在不增加模型参数规模的情况下得到深度负相关学习模型。我们想要达到两个目的:1)训练单个网络得到多个有足够多样性的输出。2)不增加网络的参数规模。我们提出的方案是对深度卷积模型最后一层的特征图进行分组,然后不同的输出连接不同的分组,这相当于同时训练了多个弱回归器,最终得到一个强的回归器。我们通过使用已有的组卷积(Group Convolution)实现提出的方案。提出的网络模型如图4所示。在我们设计的系统中,我们利用文献[5]的方式同时训练多个回归器并加入约束来减弱回归器之间的相关性。我们的方法有效的增强了模型整体的多样性,从而提高了模型抑制过拟合的能力。

5. 实验及结果

图4 深度负相关学习模型

实验使用了三个标准人群计数数据集:UCF_CC_50、Shanghaitech和WorldExpo’10。实验结果表明提出的方法相比于已有的方法具有更高的准确率。

图5 定性实验结果

图6 定量实验结果

6. 参考文献

[1] Zhang C, Li H, Wang X, et al. Cross-scene crowd counting via deep convolutional neural networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015: 833-841.

[2] Zhang Y, Zhou D, Chen S, et al. Single-image crowd counting via multi-column convolutional neural network[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 589-597.

[3] Sam D B, Surya S, Babu R V. Switching convolutional neural network for crowd counting[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017, 1(3): 6.

[4] Brown, Gavin, Jeremy L. Wyatt, and Peter Tiňo. "Managing diversity in regression ensembles." Journal of machine learning research 6.Sep (2005): 1621-1650.

[5] Liu Y, Yao X. Ensemble learning via negative correlation[J]. Neural networks, 1999, 12(10): 1399-1404.

[6] Shi Z, Zhang L, Liu Y, et al. Crowd Counting With Deep Negative Correlation Learning[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 5382-5390.

推荐阅读

[1] 机器学习-波澜壮阔40年 SIGAI 2018.4.13.

[2] 学好机器学习需要哪些数学知识?SIGAI 2018.4.17.

[3] 人脸识别算法演化史 SIGAI 2018.4.20.

[4] 基于深度学习的目标检测算法综述 SIGAI 2018.4.24.

[5] 卷积神经网络为什么能够称霸计算机视觉领域? SIGAI 2018.4.26.

[6] 用一张图理解SVM的脉络 SIGAI 2018.4.28.

[7] 人脸检测算法综述 SIGAI 2018.5.3.

[8] 理解神经网络的激活函数 SIGAI 2018.5.5.

[9] 深度卷积神经网络演化历史及结构改进脉络-40页长文全面解读 SIGAI 2018.5.8.

[10] 理解梯度下降法 SIGAI 2018.5.11.

[11] 循环神经网络综述—语音识别与自然语言处理的利器 SIGAI 2018.5.15

[12] 理解凸优化 SIGAI 2018.5.18

[13] 【实验】理解SVM的核函数和参数 SIGAI 2018.5.22

[14] 【SIGAI综述】行人检测算法 SIGAI 2018.5.25

[15] 机器学习在自动驾驶中的应用—以百度阿波罗平台为例(上) SIGAI 2018.5.29

[16] 理解牛顿法 SIGAI 2018.5.31

[17] 【群话题精华】5月集锦—机器学习和深度学习中一些值得思考的问题 SIGAI 2018.6.1

[18] 大话Adaboost算法 SIGAI 2018.6.2

[19] FlowNet到FlowNet2.0:基于卷积神经网络的光流预测算法 SIGAI 2018.6.4

[20] 理解主成分分析(PCA) SIGAI 2018.6.6

[21] 人体骨骼关键点检测综述 SIGAI 2018.6.8

[22] 理解决策树 SIGAI 2018.6.11

[23] 用一句话总结常用的机器学习算法 SIGAI 2018.6.13

[24] 目标检测算法之YOLO SIGAI 2018.6.15

[25] 理解过拟合 SIGAI 2018.6.18

[26] 理解计算:从√2到AlphaGo ——第1季 从√2谈起 SIGAI 2018.6.20

[27] 场景文本检测——CTPN算法介绍 SIGAI 2018.6.22

[28] 卷积神经网络的压缩和加速 SIGAI 2018.6.25

[29] k近邻算法 SIGAI 2018.6.27

[30] 自然场景文本检测识别技术综述 SIGAI 2018.6.27

[31] 理解计算:从√2到AlphaGo ——第2季 神经计算的历史背景 SIGAI 2018.7.4

[32] 机器学习算法地图 SIGAI2018.7.6

[33] 反向传播算法推导-全连接神经网络 SIGAI2018.7.9

[34] 生成式对抗网络模型综述 SIGAI0709.

[35] 怎样成为一名优秀的算法工程师SIGAI0711.

[36]. 理解计算:从根号2到AlphaGo——第三季 神经网络的数学模型 SIGAI0716

[37] 【技术短文】人脸检测算法之S3FD

原创声明:本文为 SIGAI 原创文章,仅供个人学习使用,未经允许,不得转载,不能用于商业目的。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习算法与Python学习

深度学习角度 | 图像识别将何去何从?

本文主要介绍了一些经典的用于图像识别的深度学习模型,包括AlexNet、VGGNet、GoogLeNet、ResNet、DenseNet的网络结构及创新之处,并...

3674
来自专栏PPV课数据科学社区

【推荐】深度学习-LeCun、Bengio和Hinton的联合综述(上)

【编者按】三大牛Yann LeCun、Yoshua Bengio和Geoffrey Hinton在深度学习领域的地位无人不知。为纪念人工智能提出60周年,最新的...

2646
来自专栏AI研习社

谷歌的新CNN特征可视化方法,构造出一个华丽繁复的新世界

AI 研习社按:深度神经网络解释性不好的问题一直是所有研究人员和商业应用方案上方悬着的一团乌云,现代CNN网络固然有强大的特征抽取能力,但没有完善的理论可以描述...

3895
来自专栏AI科技评论

学界 | 如何有效预测未来的多种可能?LeCun的误差编码网络给你带来答案

AI 科技评论按:许多自然问题都有一定的不确定性,比如一个杯子从桌上掉地,它可能躺在桌角、立在凳子下面,甚至直接摔碎。这种具有多种可能结果的未来预测一直是一个难...

3338
来自专栏机器之心

学界 | 世界权威评测冠军:百度人脸检测算法PyramidBox

选自arXiv 机器之心编译 近日,百度凭借全新的人脸检测深度学习算法 PyramidBox,在世界最权威的人脸检测公开评测集 WIDER FACE 的「Eas...

4015
来自专栏机器之心

学界 | 与模型无关的元学习,UC Berkeley提出一种可推广到各类任务的元学习方法

选自BAIR Blog 作者:Chelsea Finn 机器之心经授权编译 参与:路雪、蒋思源 学习如何学习一直是机器学习领域内一项艰巨的挑战,而最近 UC B...

3479
来自专栏企鹅号快讯

如何利用深度学习识别千万张图片?

首先我们来谈一下什么是卷积神经网络,相信在深度学习中这是最重要的概念,首先你可以把卷积想象成一种混合信息的手段。想象一下装满信息的两个桶,我们把它们倒入一个桶中...

2385
来自专栏闪电gogogo的专栏

《统计学习方法》笔记六(2) 最大熵模型

首先考虑模型应满足的条件,给定训练数据集,可确定联合分布P(X,Y)的经验分布和边缘分布P(X)的经验分布

923
来自专栏UAI人工智能

OpenAI 首个研究成果 生成式模型系列

1554
来自专栏CreateAMind

OpenAI 首个研究成果 生成式模型系列

670

扫码关注云+社区