人脸对齐--Dense Face Alignment

Dense Face Alignment ICCVW2017 http://cvlab.cse.msu.edu/project-pifa.html MatConvNet code model can run at real time during testing

这里针对人脸对齐问题,我们采用 Dense Face Alignment (DeFA) 密集人脸对齐的策略,providing a very dense 3D alignment for large-pose face images 我们通过两个手段达到这个目标:1)对3D人脸模型中加入三个约束 landmark fitting constraint, contour fitting constraint and sift pair constraint 2)使用多个人脸对齐数据库进行训练

以前基于 3D 模型拟合的人脸对齐算法只使用 稀疏的特征点作为 supervision。如果要实现高质量的 密集人脸对齐(DeFA),面临的首要问题就是没有对应的训练数据库,所有的人脸对齐数据库中标记的特征点不超过68个特征点,所以我们需要寻找有用的信息来作为额外的 supervision,并将这些信息嵌入到学习框架中。面临的第二个问题就是需要各种的训练数据,但是不同的人脸对齐数据库 labeled differently,标记的特征点个数不一样。 上面两个问题该如何解决了? additional constraints: 1)contour constraint 预测的人脸形状的轮廓应该和图像中检测到的2D人脸边缘是匹配的。2) SIFT constraint 对应同一个人的不同人脸图像见到SIFT关键点在 3D人脸模型中应该对应 same vertexes

leveraging multiple datasets: 3D face model fitting approach 对特征点个数不是很敏感,所以可以使用多个不同数据库进行训练

main contributions: 1)我们定义了一个密集人脸对齐问题 2)为了实现这个密集人脸对齐,我们定义了一个新颖的 3D 人脸模型拟合算法加入多个约束和 跨数据库训练 3)我们模型的性能优异。可以实时运算

3 Dense Face Alignment 3.1. 3D Face Representation 3D 人脸表示方法,一个人脸的 3D shape S 我们使用一组 3D vertices 来表示,为了计算这个 S,我们根据 3DMM 表示方法 使用一组3D shape bases 来表示它

由三个部分构成: mean shape+ shape bases for identification variances +shape bases for representing expression variances

3D 人脸中的一些 vertices 对应 人脸图像中 2D 特征点的位置,基于一种对应关系(weak perspective projection),我们可以根据 3D face shape 来估计 2D 人脸的 dense shape。经过公示推导:The learning of the dense 3D shape is turned into the learning of m and p projection parameters m shape basis coefficients p

3.2. CNN Architecture

多个约束对应多个损失函数

4 Experimental Results

To make the training more manageable, we train our DeFA model in three stages, with the intention to gradually increase the datasets and employed constraints 1) At stage 1, we use 300W-LP to train our DeFA network with parameter constraint (PL). 2) At stage 2, we additionally include samples from the Caltech10K [2], and COFW [6] to continue the training of our network with the additional landmark fitting constraint (LFC). 3) At stage 3, we fine-tune the model with SPC and CFC constraints. For large-pose face alignment, we fine-tune the model with AFLW-LFPA training set.

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏闪电gogogo的专栏

《统计学习方法》笔记七(1) 支持向量机——线性可分支持向量机

应用拉格朗日对偶性,通过求解对偶问题得到原始问题的最优解,一是因为对偶问题往往更容易求解,二是自然引入核函数,进而推广到非线性分类的问题。

9820
来自专栏郑克松的专栏

人脸对齐:ASM (主动形状模型)算法

在这里, 我们重点讨论在人脸上的应用。在 PDM 中,外形相似的物体,例如人脸、人手等几何形状可以通过若干关键特征点(landmarks)的坐标依次串联形成一个...

1.8K10
来自专栏深度学习思考者

深度学习目标检测算法——Faster-Rcnn

Faster-Rcnn代码下载地址:https://github.com/ShaoqingRen/faster_rcnn 一 前言   Faster rcnn是...

34350
来自专栏计算机视觉战队

详聊CNN的精髓

现在的深度学习发展速度已经超出每个人的想象,很大一部分人只是觉得我用他人的框架去实现自己的目的,并且效果很好就可以了,这也是现在一大部分的一个瓶颈。曾经有一个老...

36950
来自专栏贾志刚-OpenCV学堂

理解CNN卷积层与池化层计算

深度学习中CNN网络是核心,对CNN网络来说卷积层与池化层的计算至关重要,不同的步长、填充方式、卷积核大小、池化层策略等都会对最终输出模型与参数、计算复杂度产生...

24710
来自专栏null的专栏

简单易学的机器学习算法——EM算法

一、机器学习中的参数估计问题 image.png 二、EM算法简介     在上述存在隐变量的问题中,不能直接通过极大似然估计求出模型中的参数,EM算法是一种解...

1.9K50
来自专栏深度学习与计算机视觉

学习SVM(四) 理解SVM中的支持向量(Support Vector)

学习SVM(一) SVM模型训练与分类的OpenCV实现 学习SVM(二) 如何理解支持向量机的最大分类间隔 学习SVM(三)理解SVM中的对偶问题 ...

25580
来自专栏计算机视觉战队

详聊CNN的精髓

现在的深度学习发展速度已经超出每个人的想象,很大一部分人只是觉得我用他人的框架去实现自己的目的,并且效果很好就可以了,这也是现在一大部分的一个瓶颈。曾经有一个老...

37950
来自专栏机器学习原理

梯度下降算法

最优化算法的一种,解决无约束优化问题,用递归来逼近最小偏差的模型。 关于梯度的概念可参见以前的文章: 从方向导数到梯度 梯度下降法迭代公式为: ...

345110
来自专栏文武兼修ing——机器学习与IC设计

Fast-RCNN阅读笔记系统架构模型训练

由于RCNN存在流水线过长,检测速度慢的问题,Fast-RCNN几乎将整个过程置于深度学习的框架下,因此带来了准确率和速度的提升,该系统主要组成部分如上图所示,...

16310

扫码关注云+社区

领取腾讯云代金券