人脸对齐--Dense Face Alignment

Dense Face Alignment ICCVW2017 http://cvlab.cse.msu.edu/project-pifa.html MatConvNet code model can run at real time during testing

这里针对人脸对齐问题,我们采用 Dense Face Alignment (DeFA) 密集人脸对齐的策略,providing a very dense 3D alignment for large-pose face images 我们通过两个手段达到这个目标:1)对3D人脸模型中加入三个约束 landmark fitting constraint, contour fitting constraint and sift pair constraint 2)使用多个人脸对齐数据库进行训练

以前基于 3D 模型拟合的人脸对齐算法只使用 稀疏的特征点作为 supervision。如果要实现高质量的 密集人脸对齐(DeFA),面临的首要问题就是没有对应的训练数据库,所有的人脸对齐数据库中标记的特征点不超过68个特征点,所以我们需要寻找有用的信息来作为额外的 supervision,并将这些信息嵌入到学习框架中。面临的第二个问题就是需要各种的训练数据,但是不同的人脸对齐数据库 labeled differently,标记的特征点个数不一样。 上面两个问题该如何解决了? additional constraints: 1)contour constraint 预测的人脸形状的轮廓应该和图像中检测到的2D人脸边缘是匹配的。2) SIFT constraint 对应同一个人的不同人脸图像见到SIFT关键点在 3D人脸模型中应该对应 same vertexes

leveraging multiple datasets: 3D face model fitting approach 对特征点个数不是很敏感,所以可以使用多个不同数据库进行训练

main contributions: 1)我们定义了一个密集人脸对齐问题 2)为了实现这个密集人脸对齐,我们定义了一个新颖的 3D 人脸模型拟合算法加入多个约束和 跨数据库训练 3)我们模型的性能优异。可以实时运算

3 Dense Face Alignment 3.1. 3D Face Representation 3D 人脸表示方法,一个人脸的 3D shape S 我们使用一组 3D vertices 来表示,为了计算这个 S,我们根据 3DMM 表示方法 使用一组3D shape bases 来表示它

由三个部分构成: mean shape+ shape bases for identification variances +shape bases for representing expression variances

3D 人脸中的一些 vertices 对应 人脸图像中 2D 特征点的位置,基于一种对应关系(weak perspective projection),我们可以根据 3D face shape 来估计 2D 人脸的 dense shape。经过公示推导:The learning of the dense 3D shape is turned into the learning of m and p projection parameters m shape basis coefficients p

3.2. CNN Architecture

多个约束对应多个损失函数

4 Experimental Results

To make the training more manageable, we train our DeFA model in three stages, with the intention to gradually increase the datasets and employed constraints 1) At stage 1, we use 300W-LP to train our DeFA network with parameter constraint (PL). 2) At stage 2, we additionally include samples from the Caltech10K [2], and COFW [6] to continue the training of our network with the additional landmark fitting constraint (LFC). 3) At stage 3, we fine-tune the model with SPC and CFC constraints. For large-pose face alignment, we fine-tune the model with AFLW-LFPA training set.

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习算法全栈工程师

细粒度分类你懂吗?——fine-gained image classification

我们在路边看到萌犬可爱至极,然后却不知道这个是哪种狗;看见路边的一个野花却不知道叫什么名字,吃着一种瓜,却不知道是甜瓜还是香瓜傻傻分不清……

933
来自专栏小鹏的专栏

机器学习模型训练时候tricks

1. 当训练集的效果(准确率)上不去,和贝叶斯估计(人的表现)存在一定差距的时候:(1)增加模型的复杂度。 或者直接多加几层。(2)现在目前效果非常好的一些模型...

1927
来自专栏林欣哲

科个普啦—机器学习(上)

昨天聊了深度学习,它其实是机器学习的一种,而机器学习的目的是为了学会解决问题。 这里的机器实质上是一个计算机,所能解决的问题得是数学上的问题,因此生活中要解决的...

2639
来自专栏程序生活

Word2Vec教程-Negative Sampling 负采样

1213
来自专栏大数据挖掘DT机器学习

机器学习分类算法总结

目前看到的比较全面的分类算法,总结的还不错. 主要分类方法介绍解决分类问题的方法很多,单一的分类方法主要包括:决策树、贝叶斯、人工神经网络、K-近邻、支持向量...

3104
来自专栏null的专栏

优化算法——梯度下降法

一、优化算法概述     优化算法所要求解的是一个问题的最优解或者近似最优解。现实生活中有很多的最优化问题,如最短路径问题,如组合优化问题等等,同样,也存在很多...

3406
来自专栏决胜机器学习

卷积神经网络(二) ——LetNet-5、AlexNet、VGG-16、残差网络

卷积神经网络(二) ——LetNet-5、AlexNet、VGG-16、残差网络 (原创内容,转载请注明来源,谢谢) 一、概述 本文主要介绍几种卷积网络模型,学...

4055
来自专栏新智元

【深度】解析深度神经网络背后的数学原理

如今,已有许多像 Keras, TensorFlow, PyTorch 这样高水平的专门的库和框架,我们就不用总担心矩阵的权重太多,或是对使用的激活函数求导时存...

1005
来自专栏程序生活

CS224n 笔记1-自然语言处理与深度学习简介1 自然语言处理简介2 词向量(Word Vectors)3 基于奇异值分解(SVD)的方法4 基于迭代的算法-Word2vec

1 自然语言处理简介 我们从讨论“什么是NLP”开始本章的内容 1.1 NLP有什么特别之处 自然(人工)语言为什么如此特别?自然语言是一个专门用来表达语义的系...

2423
来自专栏云时之间

机器学习常用算法的分类

大家新年好,在经历过新年假期以后,现在让我们来看看机器学习常用的算法的分类。 在以前我的文章中我们可以发现机器学习是一个及其庞大的门类,里面包括各种五花八门的算...

3325

扫码关注云+社区