人脸对齐--Robust face landmark estimation under occlusion

Robust face landmark estimation under occlusion 
 ICCV’13 http://www.vision.caltech.edu/xpburgos/ICCV13/

本文主要考虑人脸对齐中的遮挡问题，我们对遮挡进行显示的建模分析，detecting occlusions explicitly，并建立了一个人脸特征点遮挡的数据库 Caltech Occluded Faces in the Wild (COFW)

这里写图片描述

红色代表遮挡，蓝色代表非遮挡

3 Method 本文是在 Cascaded Pose Regression (CPR) 的基础上进行改进的，所以先来复习一下 CPR 3.1. Cascaded Pose Regression (CPR)

这里写图片描述

CPR 由 T 个回归器 级联而成，从一个 initial shape guess 开始迭代优化，得到最终的 final shape estimation。 这个 shape S 有 P个特征点构成 在学习的过程中， each regressor 通过学习来最小化 the true shape 和 the shape estimate of the previous iteration 之间的差异。使用特征称之为 shape-indexed features，它依赖于 the current shape estimate， The key to CPR lies on computing robust shape-indexed features and training regressors able to progressively reduce the estimation error at each iteration. 文献【14,7】使用的回归器为 depth 5 random fern regressors，特征为 shape-indexed control point features，文献【7】使用了 two-level boosted regression

3.2. Robust Cascaded Pose Regression (RCPR) 文献【14,7】在什么情况下效果不好了？ faced with occlusions and large shape variations，Boosted regressors 不能够对 outliers 给出一个系统的解决方案，我们提出了一个 Robust Cascaded Pose Regression (RCPR) 来解决这些问题

3.2.1 Robustness to occlusion 对遮挡显示嵌入模型中

这里写图片描述

每个特征点表示为 S_p =

这里写图片描述

3.2.2 Robustness to shape variations Interpolated shape-indexed features

这里写图片描述

Smart restarts 考虑到模型的结果比较依赖于初始化，这里我们通过多次初始化来选择一个最好的模型

Given an image and a number of different initializations, first only 10% of the cascade is applied to each. Then, the variance between their predictions is checked. If the variance is below a certain threshold, the remaining 90% of the cascade is applied as usual. If, however, the variance is higher than the threshold, the process is restarted with a different set of initializations

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

11