专栏首页机器学习、深度学习多尺度人脸检测--Face Detection through Scale-Friendly Deep Convolutional Networks

多尺度人脸检测--Face Detection through Scale-Friendly Deep Convolutional Networks

Face Detection through Scale-Friendly Deep Convolutional Networks http://shuoyang1213.me/projects/ScaleFace/ScaleFace.html

本文针对多尺度人脸检测问题,采用分而治之的思路来解决,提出不同尺度的人脸需要不同的网络结构来进行检测。然后我们将这些网络组合成一个网络,使用端对端的方式优化学习。另一种理解方式是在尺度上采用级联检测器来检测多尺度人脸

We believe that faces with different scales possess different inherent visual cues and thus lead to disparate detection difficulties, which can be more effectively modeled with different specialized network structures. These networks can be seamlessly combined into a single network (e.g., resembling the structure of ResNet-50), and thus optimized in an end-to-end fashion.

上图显示对于特定尺度范围的人脸检测,我们需要设计一个特殊的网络,不需要有很多层,精心设计 depth and spatial pooling 可以达到很好的检测效果

2 Related Work 针对多尺度人脸检测,目前主要有两类做法:

(1) Scale-invariant methods : 这类方法主要学习尺度不同的特征表示。例如 Faster-RCNN [9] 中通过使用 region of interest (ROI) pooling 来提取 尺度不变得特征。 Cascade-CNN [10] 归一化物体到一个固定尺度,通过对输入图像金字塔进行检测达到多尺度检测。但是 Faster-RCNN and Cascade-CNN 都不是专门准队大范围尺度的人脸检测设计的。尤其是 Faster-RCNN 将 背景和前景 的 ROIs 映射到深度特征的同一位置上,对分类器产生了不确定性(similar overlap mapping problem)。而 Cascade-CNN 由于其网络结构的简单性限制了其解决 large appearance and scale variances

(2) Scale-variant methods: 这类方法主要是学习 scale-variant features,对不同尺度使用不同的网络进行检测。代表性的工作有 SSD【13】和 cascaded CNN【18】。 直接将 SSD 用于人脸检测效果不好,为什么了? 针对小尺寸人脸的 scale-variant templates 不同很好的处理 large-scale variance(小尺寸范围较大),在后面的阶段,SSD 又面临和 Faster-RCNN 类似的 similar overlap mapping problem

Differences with previous methods. 我们认为每个给定的CNN网络对特定的尺度范围检测效果是最佳的。术业有专攻啊! We argue that given a deep neural network there exists a best range of scale for detection

3 Learning a Scale-Friendly Face Detector ScaleFace pipeline

我们的框架包含 由不同尺寸的 spatial pooling stride and depth 的三个 scale-variant 检测器,这三个 scale-variant 检测器构成了一个backbone network,其网络结构 和 ResNet-50 一样。我们从backbone network 不同的 res-block 提取特征,用于训练候选区域提取网络和 Fast-RCNN 分类器。

为了展开讨论,我们这里提出三个问题: 1)给定一个网络结构,该网络在什么尺度范围的检测效果是最佳的? 这里我们发现 network structure and detection scale 是有内在关联的。 2)给定一个范围的尺度,我们需要多少个网络来完成这个尺度范围的目标检测 3)怎么设计这些网络是最合理的?

3.1. Finding a network for specific scale range 这里我们假设不同尺度的人脸可以使用不同 spatial pooling结构来更好的 表示,特别是人脸的尺寸需要和 ROI 池化尺寸匹配。 接着我们验证了这个假设的有效性。

从上图我们发现:对于小尺度人脸(10px − 40px),使用 stride=8 的网络检测效果最好。对应的特征图中人脸尺寸是 2px − 5px,它和 ROI 模板的尺寸是类似的。这个相似性对于 medium 和 large 尺寸的人脸检测都是一样的。

This experiment shows that the spatial resolution of a network is the key factor to achieve good detection performance for samples falls within a certain range of scales

3.2. How many scale-variant detectors 下面接着第二个问题,需要多少个检测器,也就是对一个 very wide range of scales 怎么切分的问题 一个直观的切分方法就是 均匀切分,但是因为人脸 appearance variation 在尺寸上不是均匀分布的。 我们注意到下面的现象: 对于小于 40 个像素高度的小人脸, small faces 丢失了主要的 appearance information,主要通过 rigid structures and context 来表示。Medium faces (40px − 140px) 具有较高的 variance,因为这些人通常表示摄影者主要关注的对象,他们的姿态方向角度是多样性的,Large faces (140px or more) 通常具有较小的 variance,他们是摄影者主要的关注对象,所以这些人的人脸通常是 frontal or profile pose。这个简单的现场为我们切分大范围的尺度提高了一个重要的线索。

由上面的图表我们可以得到 Three splits [10,40], [40,140], [140,1300] 这种切分方式效果是最好的。

This experiment shows that partitioning the scale range based on face variation, and at the same time considering network selection of suitable spatial pooling stride, would give us useful clues on how many scale-variant detectors we should build

3.3. How to combine the scale-variant detectors 怎么组合这些检测器了? naive ensemble 和 joint optimized 独立检测和统一框架检测

This experiment suggests that we should try best to share representation between scale-variant detectors for joint optimization

3.4. Training and implementation details

4 Model compression 为了提高检测速度,我们做了模型压缩, reduce the number of filters in every layer of the backbone network

5 Results on benchmark datasets FDDB results

WIDER FACE hard set

检测速度 NVIDIA Titan X GPU

我们的检测效果不如 HR,但是速度快 The runtime speed of HR is 0.6 fps. ScaleFace runs 6 times faster than HR

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 目标检测

    A Unified Multi-scale Deep Convolutional Neural Network for Fast Object Detectio...

    用户1148525
  • 小人脸检测 - Finding Tiny Faces

    https://www.cs.cmu.edu/~peiyunh/tiny/index.html code: https://github.com/peiyu...

    用户1148525
  • 快速目标检测--Object detection at 200 Frames Per Second

    Object detection at 200 Frames Per Second

    用户1148525
  • WordPress实现微信推送评论消息

    用Wordpress建站的朋友都知道文章有评论回复是可以邮件提醒的,主机mail()函数或SMTP的方式都可以。但是能不能评论留言了也有微信推送提醒呢,其实也可...

    爱游博客
  • 一个行为标准Popup组件(vue), 强大的过度动画支持

    之前看过很多的组件库, 但是它们的Popup行为和原生的界面差别不大, 但是行为上面却各种小细节不足, 所以有了这个强调行为标准的popup组件

    IMWeb前端团队
  • 一个行为标准Popup组件(vue), 强大的过度动画支持

    前言 之前看过很多的组件库, 但是它们的Popup行为和原生的界面差别不大, 但是行为上面却各种小细节不足, 所以有了这个强调行为标准的popup组件 特点 支...

    IMWeb前端团队
  • 爬取京东评论,且修改网址直接可复用哦(送代码)

    本次python实战,主要目标是利用 Python爬取京东商品评论数,如上图所示:爬取“Python之父”推荐的小蓝书,这些信息主要包括用户名、书名、评论等信息...

    测试开发社区
  • Python编程快速上手——正则表达式查找功能案例分析

    JavaScript正则表达式在线测试工具: http://tools.zalou.cn/regex/javascript

    砸漏
  • 动态合并点预测(CS AR)

    经过几十年的研究,条件分支的错误预测仍然给性能带来了很大的问题。此外,对无限大小预测器的极限研究表明,许多剩余的分支是当前策略无法预测的。我们的工作重点是在面对...

    刘持诚
  • 【深度相机系列七】深度相机应用全面梳理:多点开花,定点爆破

    前面我们对深度相机的基本原理有了一定了解,本文相对全面的梳理一下深度相机的应用领域。深度相机的应用在智能人机交互、人脸技术、三维重建、机器人、AR等领域全面开花...

    用户1150922

扫码关注云+社区

领取腾讯云代金券