多尺度人脸检测--Face Detection through Scale-Friendly Deep Convolutional Networks

Face Detection through Scale-Friendly Deep Convolutional Networks http://shuoyang1213.me/projects/ScaleFace/ScaleFace.html

本文针对多尺度人脸检测问题,采用分而治之的思路来解决,提出不同尺度的人脸需要不同的网络结构来进行检测。然后我们将这些网络组合成一个网络,使用端对端的方式优化学习。另一种理解方式是在尺度上采用级联检测器来检测多尺度人脸

We believe that faces with different scales possess different inherent visual cues and thus lead to disparate detection difficulties, which can be more effectively modeled with different specialized network structures. These networks can be seamlessly combined into a single network (e.g., resembling the structure of ResNet-50), and thus optimized in an end-to-end fashion.

上图显示对于特定尺度范围的人脸检测,我们需要设计一个特殊的网络,不需要有很多层,精心设计 depth and spatial pooling 可以达到很好的检测效果

2 Related Work 针对多尺度人脸检测,目前主要有两类做法:

(1) Scale-invariant methods : 这类方法主要学习尺度不同的特征表示。例如 Faster-RCNN [9] 中通过使用 region of interest (ROI) pooling 来提取 尺度不变得特征。 Cascade-CNN [10] 归一化物体到一个固定尺度,通过对输入图像金字塔进行检测达到多尺度检测。但是 Faster-RCNN and Cascade-CNN 都不是专门准队大范围尺度的人脸检测设计的。尤其是 Faster-RCNN 将 背景和前景 的 ROIs 映射到深度特征的同一位置上,对分类器产生了不确定性(similar overlap mapping problem)。而 Cascade-CNN 由于其网络结构的简单性限制了其解决 large appearance and scale variances

(2) Scale-variant methods: 这类方法主要是学习 scale-variant features,对不同尺度使用不同的网络进行检测。代表性的工作有 SSD【13】和 cascaded CNN【18】。 直接将 SSD 用于人脸检测效果不好,为什么了? 针对小尺寸人脸的 scale-variant templates 不同很好的处理 large-scale variance(小尺寸范围较大),在后面的阶段,SSD 又面临和 Faster-RCNN 类似的 similar overlap mapping problem

Differences with previous methods. 我们认为每个给定的CNN网络对特定的尺度范围检测效果是最佳的。术业有专攻啊! We argue that given a deep neural network there exists a best range of scale for detection

3 Learning a Scale-Friendly Face Detector ScaleFace pipeline

我们的框架包含 由不同尺寸的 spatial pooling stride and depth 的三个 scale-variant 检测器,这三个 scale-variant 检测器构成了一个backbone network,其网络结构 和 ResNet-50 一样。我们从backbone network 不同的 res-block 提取特征,用于训练候选区域提取网络和 Fast-RCNN 分类器。

为了展开讨论,我们这里提出三个问题: 1)给定一个网络结构,该网络在什么尺度范围的检测效果是最佳的? 这里我们发现 network structure and detection scale 是有内在关联的。 2)给定一个范围的尺度,我们需要多少个网络来完成这个尺度范围的目标检测 3)怎么设计这些网络是最合理的?

3.1. Finding a network for specific scale range 这里我们假设不同尺度的人脸可以使用不同 spatial pooling结构来更好的 表示,特别是人脸的尺寸需要和 ROI 池化尺寸匹配。 接着我们验证了这个假设的有效性。

从上图我们发现:对于小尺度人脸(10px − 40px),使用 stride=8 的网络检测效果最好。对应的特征图中人脸尺寸是 2px − 5px,它和 ROI 模板的尺寸是类似的。这个相似性对于 medium 和 large 尺寸的人脸检测都是一样的。

This experiment shows that the spatial resolution of a network is the key factor to achieve good detection performance for samples falls within a certain range of scales

3.2. How many scale-variant detectors 下面接着第二个问题,需要多少个检测器,也就是对一个 very wide range of scales 怎么切分的问题 一个直观的切分方法就是 均匀切分,但是因为人脸 appearance variation 在尺寸上不是均匀分布的。 我们注意到下面的现象: 对于小于 40 个像素高度的小人脸, small faces 丢失了主要的 appearance information,主要通过 rigid structures and context 来表示。Medium faces (40px − 140px) 具有较高的 variance,因为这些人通常表示摄影者主要关注的对象,他们的姿态方向角度是多样性的,Large faces (140px or more) 通常具有较小的 variance,他们是摄影者主要的关注对象,所以这些人的人脸通常是 frontal or profile pose。这个简单的现场为我们切分大范围的尺度提高了一个重要的线索。

由上面的图表我们可以得到 Three splits [10,40], [40,140], [140,1300] 这种切分方式效果是最好的。

This experiment shows that partitioning the scale range based on face variation, and at the same time considering network selection of suitable spatial pooling stride, would give us useful clues on how many scale-variant detectors we should build

3.3. How to combine the scale-variant detectors 怎么组合这些检测器了? naive ensemble 和 joint optimized 独立检测和统一框架检测

This experiment suggests that we should try best to share representation between scale-variant detectors for joint optimization

3.4. Training and implementation details

4 Model compression 为了提高检测速度,我们做了模型压缩, reduce the number of filters in every layer of the backbone network

5 Results on benchmark datasets FDDB results

WIDER FACE hard set

检测速度 NVIDIA Titan X GPU

我们的检测效果不如 HR,但是速度快 The runtime speed of HR is 0.6 fps. ScaleFace runs 6 times faster than HR

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

【CVPR演讲】LeCun 谈深度学习技术局限及发展(157PPT)

【新智元导读】Facebook AI 实验室负责人Yann LeCun 在 CVPR2015 演讲,提到了深度学习在计算机视觉领域的应用及局限,比如缺乏理论、缺...

4137
来自专栏Spark学习技巧

【深度学习】③--神经网络细节与训练注意点

1. 权重的初始化 1.1 fine-tuning 神经网络的训练的有两种方式,第一种是自己从头到尾训练一遍;第二种是使用别人训练好的模型,然后根据自己的实际需...

3705
来自专栏机器之心

AAAI 2018 | 港中文-商汤联合论文:自监督语义分割的混合与匹配调节

3987
来自专栏技术随笔

[译] Every Filter Extracts A Specific Texture In Convolutional Neural Networks

2707
来自专栏AI研习社

Must Know! 数据科学家们必须知道的 5 种聚类算法

聚类是一种关于数据点分组的机器学习技术。给出一组数据点,我们可以使用聚类算法将每个数据点分类到特定的组中。理论上,同一组中的数据点应具有相似的属性或特征,而不同...

3808
来自专栏人工智能LeadAI

VGG和GoogLeNet inception

01 介绍 googlenet和vggnet这两个模型是在AlexNet后人工神经网络方面研究的又一里程碑,也是许多论文和博客中用来和提出的新方法进行对比的b...

35614
来自专栏机器学习算法与Python学习

干货 | 受限玻尔兹曼机基础教程

定义与结构 受限玻尔兹曼机(RBM)由Geoff Hinton发明,是一种用于降维、分类、回归、协同过滤、特征学习和主题建模的算法。 下载pdf,请后台回复关键...

47313
来自专栏机器学习算法与Python学习

CS231n课程笔记翻译:图像分类笔记(下)

用于超参数调优的验证集 k-NN分类器需要设定k值,那么选择哪个k值最合适的呢?我们可以选择不同的距离函数,比如L1范数和L2范数等,那么选哪个好?还有不少选择...

3378
来自专栏人工智能的秘密

拆解VGGNet网络模型在分类和定位任务上的能力

下面我们将对2014年夺得ImageNet的定位第一和分类第二的VGG网络进行分析,在此过程中更多的是对这篇经典文章的感性分析,希望和大家共同交流产生共鸣,如果...

2779
来自专栏机器学习算法全栈工程师

Mask-RCNN论文解读

Mask R-CNN是基于Faster R-CNN的基于上演进改良而来,FasterR-CNN并不是为了输入输出之间进行像素对齐的目标而设计的,为了弥补这个不足...

5958

扫码关注云+社区