人脸检测--Face Detection with End-to-End Integration of a ConvNet and a 3D Model

Face Detection with End-to-End Integration of a ConvNet and a 3D Model ECCV2016 mxnet code:https://github.com/tfwu/FaceDetection-ConvNet-3D

Faster R-CNN 在目标检测上表现出优异性能,本文将其应用于人脸检测,并根据人脸的特殊性做出相应的修改. 本文提出一个简单有效的方法将 ConvNet and a 3D model 结合起来实现端对端人脸检测

将 Faster R-CNN应用人脸检测问题,面临两个问题: 1)RPNs 中需要预定义一组 anchor boxes,这就可能在训练中引入了冗余的 parameter tuning,在检测中不稳定 2)RoI pooling layer without exploiting the underlying object structural configurations,RoI pooling layer 没有深入挖掘物体结构信息,很多类别的物体的结构可能没有共性,但是对于固定的人脸结构信息还是比较容易提取利用的。

主要修改的地方有两点:1)在RPN中取消 heuristic design of predefined anchor boxes,用一个 3D mean face model 代替,2)根据人脸结构信息用一个 configuration pooling layer 取代 the generic RoI (Region-of-Interest) pooling layer 本文是基于 facial key-points 检测来做人脸检测的

1.2 Method Overview 本文使用了 十个人脸特征点: “LeftEyeLeftCorner”, “RightEyeRightCorner”, “LeftEar”, “Nose-Left”, “NoseRight”, “RightEar”, “MouthLeftCorner”, “MouthRightCorner”, “Chin-Center”, “CenterBetweenEyes” 先上个图有个感性认识:

3 The Proposed Method 3.1 3D Mean Face Model and Face Representation 本文一个 3D mean face model 由 n 个 3D 人脸特征点表示,数学上具体为一个 n × 3 矩阵。我们从 AFLW dataset 中的 3D mean face model,里面由21个特征点,这里我们选择了10个特征点。

假定一个人脸 f,由 它的 3D 映射参数 表示其 旋转平移信息,我们从图像中提取到对应的 2D 特征点信息,这里 2D 特征点信息和 3D 模型有一个对应关系 这里我们通过学习得到一个 CNN网络用于 估计这个 3D transformation parameters,就是对每个检测到的特征点估计出对应的 3D mean face model,然后得到人脸矩形框候选区域,再对每个人脸预测出更准确的人脸特征点 The key idea is to learn a ConvNet to (i) estimate the 3D transformation parameters (rotation and translation) w.r.t. the 3D mean face model for each detected facial key-point so that we can generate face bounding box proposals and (ii) predict facial key-points for each face instance more accurately.

3.2 The Architecture of Our ConvNet

网络结构分解: 1)Convolution, ReLu and MaxPooling Layers,采用了VGG网络设计, 5 groups and each group has 3 convolution and ReLu consecutive layers followed by a MaxPooling layer except for the 5th group,最终的特征图缩小了 16倍 2)An Upsampling Layer,因为我们是对比预测的特征点和检测到的特征点位置信息,所以需要放大特征图保留更多的 spatial 信息,upsample the feature maps to 8 times bigger in size,使用 deconvolution 3) A Facial Key-point Label Prediction Layer,11 labels (10 facial key-points and 1 background class) 用于计算 classification Softmax loss 4) A 3D Transformation Parameter Estimation Layer 3D 模型参数估计: 8 parameters 5) A Face Proposal Layer 人脸候选区域提取 6)A Configuration Pooling Layer 将人脸的十个特征点信息组合起来进行池化 7) A Face Bounding Box Regression Layer 对人脸矩形框位置进行回归微调

3.3 The End-to-End Training

这里主要介绍了损失函数的定义

4 Experiments

Results on FDDB

Results on FDDB

AFW dataset

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

学界 | 用对抗网络生成训练数据:CMU论文A-Fast-RCNN的Caffe实现

选自Github 作者:王小龙等 机器之心编译 参与:李泽南 最近,卡耐基梅隆大学(CMU)的王小龙等人发表的论文《A-Fast-RCNN: Hard Posi...

3145
来自专栏CreateAMind

最强的CNN视觉识别模型Residual Networks 3篇论文的31页ppt讲解-可下载

551
来自专栏AI研习社

从编程实现角度学习 Faster R-CNN(附极简实现)

Faster R-CNN 的极简实现: github: simple-faster-rcnn-pytorch(http://t.cn/RHCDoPv ) 本文插...

7245
来自专栏SnailTyan

ImageNet Classification with Deep Convolutional Neural Networks——AlexNet论文翻译——中英文对照

ImageNet Classification with Deep Convolutional Neural Networks Abstract We trai...

2159
来自专栏SnailTyan

Deformable Convolutional Networks论文翻译——中英文对照

Deformable Convolutional Networks Abstract Convolutional neural networks (CNNs) ...

2610
来自专栏机器学习、深度学习

遮挡人脸检测--Detecting Masked Faces in the Wild with LLE-CNNs

Detecting Masked Faces in the Wild with LLE-CNNs CVPR2017 本文针对遮挡人脸检测问题,首先建立了一个...

4179
来自专栏Petrichor的专栏

opencv: 绘制矩形轮廓框,并记录轮廓框坐标

1513
来自专栏AI科技大本营的专栏

AI 技术讲座精选:​通过学习Keras从零开始实现VGG网络

Keras代码示例多达数百个。通常我们只需复制粘贴代码,而无需真正理解这些代码。通过学习本教程,您将搭建非常简单的构架,但是此过程会带给您些许好处:您将通过阅读...

3528
来自专栏SnailTyan

ResNet论文翻译——中英文对照

Deep Residual Learning for Image Recognition Abstract Deeper neural networks are...

2228
来自专栏进击的程序猿

如何生成一幅艺术作品

假设我们有一幅大师的画作了,我们怎么能够提取出“大师作品”中的纹理和颜色这些细节让我们的计算机知道,而不是只看到画的整体造型呢?

643

扫码关注云+社区