多尺度人脸检测--Face Detection through Scale-Friendly Deep Convolutional Networks

Face Detection through Scale-Friendly Deep Convolutional Networks http://shuoyang1213.me/projects/ScaleFace/ScaleFace.html

本文针对多尺度人脸检测问题,采用分而治之的思路来解决,提出不同尺度的人脸需要不同的网络结构来进行检测。然后我们将这些网络组合成一个网络,使用端对端的方式优化学习。另一种理解方式是在尺度上采用级联检测器来检测多尺度人脸

We believe that faces with different scales possess different inherent visual cues and thus lead to disparate detection difficulties, which can be more effectively modeled with different specialized network structures. These networks can be seamlessly combined into a single network (e.g., resembling the structure of ResNet-50), and thus optimized in an end-to-end fashion.

上图显示对于特定尺度范围的人脸检测,我们需要设计一个特殊的网络,不需要有很多层,精心设计 depth and spatial pooling 可以达到很好的检测效果

2 Related Work 针对多尺度人脸检测,目前主要有两类做法:

(1) Scale-invariant methods : 这类方法主要学习尺度不同的特征表示。例如 Faster-RCNN [9] 中通过使用 region of interest (ROI) pooling 来提取 尺度不变得特征。 Cascade-CNN [10] 归一化物体到一个固定尺度,通过对输入图像金字塔进行检测达到多尺度检测。但是 Faster-RCNN and Cascade-CNN 都不是专门准队大范围尺度的人脸检测设计的。尤其是 Faster-RCNN 将 背景和前景 的 ROIs 映射到深度特征的同一位置上,对分类器产生了不确定性(similar overlap mapping problem)。而 Cascade-CNN 由于其网络结构的简单性限制了其解决 large appearance and scale variances

(2) Scale-variant methods: 这类方法主要是学习 scale-variant features,对不同尺度使用不同的网络进行检测。代表性的工作有 SSD【13】和 cascaded CNN【18】。 直接将 SSD 用于人脸检测效果不好,为什么了? 针对小尺寸人脸的 scale-variant templates 不同很好的处理 large-scale variance(小尺寸范围较大),在后面的阶段,SSD 又面临和 Faster-RCNN 类似的 similar overlap mapping problem

Differences with previous methods. 我们认为每个给定的CNN网络对特定的尺度范围检测效果是最佳的。术业有专攻啊! We argue that given a deep neural network there exists a best range of scale for detection

3 Learning a Scale-Friendly Face Detector ScaleFace pipeline

我们的框架包含 由不同尺寸的 spatial pooling stride and depth 的三个 scale-variant 检测器,这三个 scale-variant 检测器构成了一个backbone network,其网络结构 和 ResNet-50 一样。我们从backbone network 不同的 res-block 提取特征,用于训练候选区域提取网络和 Fast-RCNN 分类器。

为了展开讨论,我们这里提出三个问题: 1)给定一个网络结构,该网络在什么尺度范围的检测效果是最佳的? 这里我们发现 network structure and detection scale 是有内在关联的。 2)给定一个范围的尺度,我们需要多少个网络来完成这个尺度范围的目标检测 3)怎么设计这些网络是最合理的?

3.1. Finding a network for specific scale range 这里我们假设不同尺度的人脸可以使用不同 spatial pooling结构来更好的 表示,特别是人脸的尺寸需要和 ROI 池化尺寸匹配。 接着我们验证了这个假设的有效性。

从上图我们发现:对于小尺度人脸(10px − 40px),使用 stride=8 的网络检测效果最好。对应的特征图中人脸尺寸是 2px − 5px,它和 ROI 模板的尺寸是类似的。这个相似性对于 medium 和 large 尺寸的人脸检测都是一样的。

This experiment shows that the spatial resolution of a network is the key factor to achieve good detection performance for samples falls within a certain range of scales

3.2. How many scale-variant detectors 下面接着第二个问题,需要多少个检测器,也就是对一个 very wide range of scales 怎么切分的问题 一个直观的切分方法就是 均匀切分,但是因为人脸 appearance variation 在尺寸上不是均匀分布的。 我们注意到下面的现象: 对于小于 40 个像素高度的小人脸, small faces 丢失了主要的 appearance information,主要通过 rigid structures and context 来表示。Medium faces (40px − 140px) 具有较高的 variance,因为这些人通常表示摄影者主要关注的对象,他们的姿态方向角度是多样性的,Large faces (140px or more) 通常具有较小的 variance,他们是摄影者主要的关注对象,所以这些人的人脸通常是 frontal or profile pose。这个简单的现场为我们切分大范围的尺度提高了一个重要的线索。

由上面的图表我们可以得到 Three splits [10,40], [40,140], [140,1300] 这种切分方式效果是最好的。

This experiment shows that partitioning the scale range based on face variation, and at the same time considering network selection of suitable spatial pooling stride, would give us useful clues on how many scale-variant detectors we should build

3.3. How to combine the scale-variant detectors 怎么组合这些检测器了? naive ensemble 和 joint optimized 独立检测和统一框架检测

This experiment suggests that we should try best to share representation between scale-variant detectors for joint optimization

3.4. Training and implementation details

4 Model compression 为了提高检测速度,我们做了模型压缩, reduce the number of filters in every layer of the backbone network

5 Results on benchmark datasets FDDB results

WIDER FACE hard set

检测速度 NVIDIA Titan X GPU

我们的检测效果不如 HR,但是速度快 The runtime speed of HR is 0.6 fps. ScaleFace runs 6 times faster than HR

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏瓜大三哥

BP神经网络

BP(Back Propagation)神经网络是1986年由以Rumelhart和McCelland为首的科学家小组提出的,是一种按误差逆传播算法训练的多层前...

2309
来自专栏智能算法

深度|梯度下降优化算法综述

该文翻译自An overview of gradient descent optimization algorithms。 总所周知,梯度下降算法是机器学习中使...

2666
来自专栏机器之心

学界 | NTIRE2017夺冠论文:用于单一图像超分辨率的增强型深度残差网络

选自SNU 作者:Bee Lim等 机器之心编译 参与:Smith 图像超分辨率(SR)问题,尤其是单一图像超分辨率(SISR)问题,在近几十年中已经受到了广泛...

3935
来自专栏新智元

【干货】深度学习必备:随机梯度下降(SGD)优化算法及可视化

【新智元导读】梯度下降算法是机器学习中使用非常广泛的优化算法,也是众多机器学习算法中最常用的优化方法。几乎当前每一个先进的(state-of-the-art)机...

5038
来自专栏AILearning

【Scikit-Learn 中文文档】概率校准 - 监督学习 - 用户指南 | ApacheCN

1.16. 概率校准 执行分类时, 您经常希望不仅可以预测类标签, 还要获得相应标签的概率. 这个概率给你一些预测的信心. 一些模型可以给你贫乏的概率估计,...

2877
来自专栏企鹅号快讯

2017年深度学习优化算法最新综述

梯度下降算法是机器学习中使用非常广泛的优化算法,也是众多机器学习算法中最常用的优化方法。几乎当前每一个先进的(state-of-the-art)机器学习库或者深...

29710
来自专栏人工智能头条

漫谈词向量之基于Softmax与Sampling的方法

3674
来自专栏新智元

【干货】机器学习最常用优化之一——梯度下降优化算法综述

【新智元导读】梯度下降算法是机器学习中使用非常广泛的优化算法,也是众多机器学习算法中最常用的优化方法。几乎当前每一个先进的(state-of-the-art)机...

3709
来自专栏云时之间

深度学习与TensorFlow:FCN论文翻译

这篇论文跟上一篇的VGG论文一样,在深度学习领域同样的经典,在2015年的CVPR,该论文拿到了best paper候选的论文,在之后的PASCAL VOC20...

2752
来自专栏社区的朋友们

机器学习概念总结笔记(一)

本部分介绍了机器学习算法的四大分类,即:监督学习、半监督学习、无监督学习和增强学习以及包括最小二乘回归、岭回归、LASSO回归、LARS回归在内的26大常见算法...

1.3K4

扫码关注云+社区