【技术短文】基于深度负相关学习的人群计数方法

广而告之

SIGAI-AI学习交流群的目标是为学习者提供一个AI技术交流与分享的平台。

同时在本微信公众号中,回复“SIGAI”+日期,如“SIGAI0515”,即可获取本期文章的全文下载地址(仅供个人学习使用,未经允许,不得用于商业目的)。

SIGAI特约作者

cnns

阿姆斯特丹大学在读博士

研究方向:深度学习,计算机视觉

人群计数

监控视频中的人群自动计数有着重要的社会意义和市场应用前景。充分利用兴趣区域的人数统计信息可以为一些人群密集的商场、车站、广场等公共场合的安全预警提供有效的指导。还可以带来经济效益,例如,提高服务质量、分析顾客行为、广告投放和优化资源配置等。因此,该问题已成为计算机视觉和智能视频监控领域的重要研究内容。

近年来,随着计算机视觉技术的持续发展,大量的人群计数方法被提出。基于人群特征回归人群人数的方法是当前的主流方法。此回归方法将人群视为一个整体,利用图像特征和人群人数之间的回归关系实现行人计数。这类方法能够有效地解决人群遮挡问题,具有大规模人群计数的能力。直接的回归一个图像中总的人数在实际中准确率不够理想,因为总人数所包含和表达的人群信息极其有限。近年来大多数基于回归的方法首先根据标注的人头位置和核密度估计生成每个人群图像所对应的人群密度图(如图1所示),然后基于人群特征回归人群密度图,最后计算人群密度图的数值总和作为最终的预测人数。人群密度图保留了人群的分布信息,因此包含了更多和更丰富的人群信息,这对于获得更准确的预测结果是非常关键的。

图1 人群密度图

深度人群计数模型

深度学习通过多层结构将底层特征逐步转换为更加抽象的高层特征,具有优异的特征学习能力,学到的特征对数据有更本质的刻画。深度卷积神经网络(Convolutional neural network, CNN)是最成功的深度模型之一,在计算机视觉领域有着广泛的应用。CNN 凭借特有的卷积–池化 (Convolution-pooling) 结构获的特征对平移、缩放和旋转具有不变性,相比于底层特征,判别能力和鲁棒性更强。近年来很多深度人群计数模型被提出(如图2所示),这些方法主要关注如何获取更好的人群特征用于描述更复杂人群,例如多尺度、严重遮挡和不均匀分布的人群。文献[1]首次提出将深度卷积神经网络用于人群计数,该方法基于深度卷积特征同时回归总人数和人群密度图。这种端到端的多任务学习方法法相比于传统方法具有准确率高和鲁棒性好的优点,但是对于多尺度的行人和严重遮挡问题效果并不理想。针对这些复杂的问题,文献[2]提出一种多列的深度卷积神经网络模型(Multi-column Convolutional neural network, MCNN)。在MCNN中,不同列实际上是具有不同卷积核的子网络,理论上不同子网络可以处理不同尺度的行人。通过大量实验验证,MCNN在处理多尺度的行人和严重遮挡问题时具有更好的效果。文献[3]进一步提出一种转换网络(Switching Convolutional Neural Network, Switch-CNN),该网络使用了几个卷积核大小和深度不同的CNN。Switch-CNN首先将图像分成多个图像块,然后根据图像块的内容信息来选择合适的CNN网络进行人群密度估计。Switch-CNN,该方法进一步提升了人群计数的准确率和对多尺度、遮挡的鲁棒性。然而由于显存和人群数据集规模的限制,人群网络的宽度和深度的增加是有限度的。当人群数据集比较小时,很深或很宽的人群模型的训练变得极其困难,很容易过拟合。

集成学习

模型的回归误差可以被分解成偏置(Bias)和方差(Variance)。当模型出现过拟合问题时一般伴随着低偏置和高方差现象。集成学习一般通过显著减小方差来提高单一模型的泛化能力。基于这个角度,我们提出利用深度集成学习来提高人群计数的性能。

图2 当前深度人群计数模型

本文旨在解决以下两个技术难点:1)如何训练一组有足够多样性(Diversity)的深度回归器。文献[4]证明, 好的集成学习系统往往有着很强的多样性。2)如何有效地训练深度集成学习系统。传统的集成学习一般会独立的训练多个分类或回归器。除了低效率的缺陷以外,由于不同的回归器彼此之间没有限制,产生的回归器之间会有很强的相关性,进而降低了模型整体的多样性,从而导致模型抑制过拟合的能力受限。

深度负相关学习

我们首次提出将负相关学习的思想应用在深度学习模型中。由于深度学习模型的参数众多,

图3 传统集成学习和负相关学习

同时训练多个深度学习模型往往需要很多工程技巧并且效率低下。因此,我们要解决的关键问题是如何在不增加模型参数规模的情况下得到深度负相关学习模型。我们想要达到两个目的:1)训练单个网络得到多个有足够多样性的输出。2)不增加网络的参数规模。我们提出的方案是对深度卷积模型最后一层的特征图进行分组,然后不同的输出连接不同的分组,这相当于同时训练了多个弱回归器,最终得到一个强的回归器。我们通过使用已有的组卷积(Group Convolution)实现提出的方案。提出的网络模型如图4所示。在我们设计的系统中,我们利用文献[5]的方式同时训练多个回归器并加入约束来减弱回归器之间的相关性。我们的方法有效的增强了模型整体的多样性,从而提高了模型抑制过拟合的能力。

实验及结果

图4 深度负相关学习模型

实验使用了三个标准人群计数数据集:UCF_CC_50、Shanghaitech和WorldExpo’10。实验结果表明提出的方法相比于已有的方法具有更高的准确率。

图5 定性实验结果

图6 定量实验结果

参考文献

[1] Zhang C, Li H, Wang X, et al. Cross-scene crowd counting via deep convolutional neural networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015: 833-841.

[2] Zhang Y, Zhou D, Chen S, et al. Single-image crowd counting via multi-column convolutional neural network[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 589-597.

[3] Sam D B, Surya S, Babu R V. Switching convolutional neural network for crowd counting[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017, 1(3): 6.

[4] Brown, Gavin, Jeremy L. Wyatt, and Peter Tiňo. "Managing diversity in regression ensembles." Journal of machine learning research 6.Sep (2005): 1621-1650.

[5] Liu Y, Yao X. Ensemble learning via negative correlation[J]. Neural networks, 1999, 12(10): 1399-1404.

[6] Shi Z, Zhang L, Liu Y, et al. Crowd Counting With Deep Negative Correlation Learning[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 5382-5390.

本文为SIGAI原创

如需转载,欢迎发消息到本订号

原文发布于微信公众号 - SigAI(SIGAICN)

原文发表时间:2018-07-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

BMVC 2018 | 最佳学生论文:EPFL&FAIR提出QuaterNet,更好地解决人类动作建模问题

对人类动作进行建模对于许多应用都很重要,包括动作识别 [12, 34]、动作检测 [49] 及计算机图形学 [22] 等。最近,神经网络被用于 3D 骨骼关节部...

991
来自专栏新智元

【深度学习再突破】让计算机一眼认出“猫”:哈佛提出新高维数据分析法

【新智元导读】目前,还没有人能够真正理解深度网络在目标分类任务方面的运行方式和原理。主要原因是对深度网络在分类任务中所做的“工作”还没有一个很好的衡量标准,一篇...

741
来自专栏机器学习算法与Python学习

深度强化学习资料(视频+PPT+PDF下载)

4627
来自专栏AI科技评论

优必选悉尼AI研究院博士生:混合比例估计在弱监督学习和迁移学习中的延伸与应用

AI 科技评论按:在大数据时代,标注足够多的训练样本往往耗费巨大。弱监督学习方法往往能够减轻对正确标签的过度依赖,达到与监督学习相近的性能。然而,在设计弱监督学...

1192
来自专栏人工智能

五分钟快速了解深度学习

原作者:Radu Raicea 译者:刘勤 人工智能(Artificial Intelligence)和机器学习(Machine Learning)是当下最热话...

4769
来自专栏AI科技大本营的专栏

ICML2018见闻 | 迁移学习、多任务学习领域的进展

【导读】如今 ICML(International Conference on Machine Learning,国际机器学习大会)已经成为有巨大影响力的会议,...

1992
来自专栏机器之心

深度 | 学习如何学习的算法:简述元学习研究方向现状

选自TowardsDataScience 作者:Cody Marie Wild 机器之心编译 参与:李诗萌、李泽南 要想实现足够聪明的人工智能,算法必须学会如何...

3695
来自专栏腾讯高校合作

ICML 2018 | 腾讯AI Lab详解16篇入选论文

1952
来自专栏AI派

矩阵分解之SVD和SVD++

上述两个问题,在矩阵分解中可以得到解决。原始的矩阵分解只适用于评分预测问题,这里所讨论的也只是针对于评分预测问题。

7863
来自专栏大数据挖掘DT机器学习

用Python进行机器学习小案例

概要 本文是用Python编程语言来进行机器学习小实验的第一篇。主要内容如下: 读入数据并清洗数据 探索理解输入数据的特点 分析如何为学习算法呈现数据 选择正确...

4159

扫码关注云+社区

领取腾讯云代金券