人脸对齐--Dense Face Alignment

Dense Face Alignment ICCVW2017 http://cvlab.cse.msu.edu/project-pifa.html MatConvNet code model can run at real time during testing

这里针对人脸对齐问题,我们采用 Dense Face Alignment (DeFA) 密集人脸对齐的策略,providing a very dense 3D alignment for large-pose face images 我们通过两个手段达到这个目标:1)对3D人脸模型中加入三个约束 landmark fitting constraint, contour fitting constraint and sift pair constraint 2)使用多个人脸对齐数据库进行训练

以前基于 3D 模型拟合的人脸对齐算法只使用 稀疏的特征点作为 supervision。如果要实现高质量的 密集人脸对齐(DeFA),面临的首要问题就是没有对应的训练数据库,所有的人脸对齐数据库中标记的特征点不超过68个特征点,所以我们需要寻找有用的信息来作为额外的 supervision,并将这些信息嵌入到学习框架中。面临的第二个问题就是需要各种的训练数据,但是不同的人脸对齐数据库 labeled differently,标记的特征点个数不一样。 上面两个问题该如何解决了? additional constraints: 1)contour constraint 预测的人脸形状的轮廓应该和图像中检测到的2D人脸边缘是匹配的。2) SIFT constraint 对应同一个人的不同人脸图像见到SIFT关键点在 3D人脸模型中应该对应 same vertexes

leveraging multiple datasets: 3D face model fitting approach 对特征点个数不是很敏感,所以可以使用多个不同数据库进行训练

main contributions: 1)我们定义了一个密集人脸对齐问题 2)为了实现这个密集人脸对齐,我们定义了一个新颖的 3D 人脸模型拟合算法加入多个约束和 跨数据库训练 3)我们模型的性能优异。可以实时运算

3 Dense Face Alignment 3.1. 3D Face Representation 3D 人脸表示方法,一个人脸的 3D shape S 我们使用一组 3D vertices 来表示,为了计算这个 S,我们根据 3DMM 表示方法 使用一组3D shape bases 来表示它

由三个部分构成: mean shape+ shape bases for identification variances +shape bases for representing expression variances

3D 人脸中的一些 vertices 对应 人脸图像中 2D 特征点的位置,基于一种对应关系(weak perspective projection),我们可以根据 3D face shape 来估计 2D 人脸的 dense shape。经过公示推导:The learning of the dense 3D shape is turned into the learning of m and p projection parameters m shape basis coefficients p

3.2. CNN Architecture

多个约束对应多个损失函数

4 Experimental Results

To make the training more manageable, we train our DeFA model in three stages, with the intention to gradually increase the datasets and employed constraints 1) At stage 1, we use 300W-LP to train our DeFA network with parameter constraint (PL). 2) At stage 2, we additionally include samples from the Caltech10K [2], and COFW [6] to continue the training of our network with the additional landmark fitting constraint (LFC). 3) At stage 3, we fine-tune the model with SPC and CFC constraints. For large-pose face alignment, we fine-tune the model with AFLW-LFPA training set.

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ATYUN订阅号

神经网络太臃肿?教你如何将神经网络减小四分之一

想要让深度神经网络更快,更节能一般有两种方法。一种方法是提出更好的神经网络设计。例如,MobileNet比VGG16小32倍,快10倍,但结果相同。另一种方法是...

3567
来自专栏机器学习、深度学习

人脸对齐--Face Alignment In-the-Wild: A Survey

Face Alignment In-the-Wild: A Survey Computer Vision and Image Understanding ...

3406
来自专栏算法channel

深度学习|大师之作,必是精品

1neural networks and deep learning 这是一个非常经典的神经网络和深度学习的教程,有完整的免费的电子书,网址如下: http:/...

3707
来自专栏技术专栏

Python3入门机器学习(七)- PCA

PCA(Principal Component Analysis):也是一个梯度分析的应用,不仅是机器学习的算法,也是统计学的经典算法

1683
来自专栏人工智能头条

Keras/Python深度学习中的网格搜索超参数调优(下)

2343
来自专栏机器学习、深度学习

人脸检测--Grid Loss: Detecting Occluded Faces

Grid Loss: Detecting Occluded Faces ECCV2016 遮挡问题还是要通过区域分块来解决 针对有遮挡的人脸检测,如果从训练...

2449
来自专栏梦里茶室

Object Detection · RCNN论文解读

转载请注明作者:梦里茶 Object Detection,顾名思义就是从图像中检测出目标对象,具体而言是找到对象的位置,常见的数据集是PASCAL VOC系列...

3077
来自专栏机器学习、深度学习

人脸检测对齐--Joint Cascade Face Detection and Alignment

Joint Cascade Face Detection and Alignment ECCV2014 https://github.com/kensu...

2186
来自专栏云时之间

深度学习与神经网络:AutoEncoder自编码

其实自编码严格来说不能算作是深度学习的内容,我们在之前的机器学习算法中也了解到自编码,并且我们会通过一个简单的例子来去说说自编码的理解.

5575
来自专栏云时之间

深度学习与神经网络:AutoEncoder自编码

2208

扫码关注云+社区