人脸对齐--Unconstrained Face Alignment without Face Detection

Unconstrained Face Alignment without Face Detection CVPRW2017

以前人脸对齐主要存在的问题：1）人脸对齐严重依赖于人脸检测来初始化，2）任意姿态的人脸对齐效果不是很好（例如大于45度的 yaw angle） 本文提出一种不需要人脸检测的人脸对齐方法。分两个步骤：1）Basic Landmark Prediction Stage，人脸特征点检测；2）Whole Landmark Regression Stage 基于人脸特征点位置，我们使用一个 Pose Splitting Layer 可以生成人脸的姿态

framework：

这里写图片描述

2 Our Method 2.1. Basic Landmark Prediction Stage 这里我们首先对图像中每个人脸的5个基础特征点进行检测： two centers of pupils, nose tip, two mouth corners （对照图示） 基础特征点检测方式参考文献【3】中的 a sub-network of landmark heatmap and affinity field prediction

这里写图片描述

2.1.1 Landmark Heatmap 这一步主要是对单个特征点的预测，基于真值特征点的预测

2.1.2 Landmark Affinity Field 这一步主要是将特征点关联起来用于去除一些噪声

2.1.3 Sub-network Learning

这里写图片描述

这里我们采用类似VGG网络结构的一个 CNN网络来 jointly learning heatmaps H and affinity fields L of landmarks

这里写图片描述

2.2. Whole Landmark Regression Stage 2.2.1 Pose Splitting Layer 这里我们将人脸姿态分为三类：left profile, right profile and semi-frontal 这三类姿态划分我们一般使用 Algorithm 1

这里写图片描述

对于 Menpo Benchmark 只需要分为 left profile and right profile 使用 Algorithm 2

这里写图片描述

人脸姿态分类完之后，我们对每个姿态的人脸进行姿态归一化

这里写图片描述

2.2.2 Shape Regression Sub-network 有了姿态归一化之后的人脸，我们进行人脸形状特征点密集提取

这里写图片描述

300-W dataset

Menpo Benchmark

这里写图片描述