人脸对齐--Pose-Invariant Face Alignment with a Single CNN

Pose-Invariant Face Alignment with a Single CNN ICCV2017 http://cvlab.cse.msu.edu/project-pifa.html 4.3 FPS on a Titan X GPU

本文是解决 large-pose face alignment (LPFA)的,所谓的 large face poses 如 profile views with ±90 度 yaw angles 针对大姿态的人脸对齐问题,目前主流的方法是采用 a cascade of CNN regressors 结合不同类型的回归设计和特征提取方法。 目前 the cascade of CNNs 在大姿态的人脸对齐问题上主要存在以下三个问题: 1) Lack of end-to-end training 目前存在的方法, at each cascade stage CNN网络通常是独立训练的。有的甚至是每个阶段使用多个独立的CNN网络,例如不同的特征点的定位使用不同的 CNN网络,然后再综合起来。 these CNNs can not be jointly optimized and might lead to a sub-optimal solution 2) Hand-crafted feature extraction 因为后一个阶段的CNN的输入依赖于前一个阶段的 CNN输出,导致每个CNN只能是 shallow CNNs,所以 this framework can not extract deep features 3) Slow training speed 每个CNN独立训练,导致整个网络的训练很慢

为了解决上述问题,我们提出了一个 visualization layer

proposed CNN architecture

3.1. 3 D and 2 D Face Shapes 这里基本的思路是 人脸实际上是一个3D 物体,图像中的人脸是一个 2D shape, 这个 2D shape 对应着一个 3D shape ,我们希望通过特征点的对应来得到 2D shape 和 3D shape 的对应关系中的参数,最终我们是通过 CNN网络来学习这些对应参数的

3D face model

visualization block

3.3. Visualization Layer 我们这里使用 Z-Buffering 中的 z coordinate of surface normals of each vertex, transformed with the pose. It is an indicator of “frontability” of a vertex, i.e., the amount that the surface normalispointingtowardsthecamera. Thisquantityisused to assign an intensity value at its projected 2D location to construct the visualization image

Experimental Results

The testing speed of proposed method is 4.3 FPS on a Titan X GPU. It is much faster than the 0.6 FPS speed of [18] and is similar to the 4 FPS speed of [40]

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏磐创AI技术团队的专栏

谱聚类概述

1303
来自专栏ATYUN订阅号

【测试】技能测试问题和答案:测试图像处理数据科学家的25个问题

1)将以下图像格式匹配到正确的频道数。 灰度 RGB I.1个通道 II.2个通道 III.3个通道 IV.4个通道 A)RGB – > I,灰度-> II...

3405
来自专栏机器之心

一文概览深度学习中的五大正则化方法和七大优化策略

3499
来自专栏WD学习记录

机器学习 学习笔记(3) 梯度下降

梯度下降法是一种常用的一阶优化方法,是求解无约束优化问题最简单、最经典的方法之一。

731
来自专栏机器学习算法与理论

与人脸有关的模型总结

ASM(Active Shape Model)早期的基于统计学习的人脸配准算法 AAM (active appearance model)是ASM的改进算法 C...

2708
来自专栏数据科学与人工智能

【算法】随机梯度算法

小编邀请您,先思考: 1 随机梯度下降算法怎么理解? 2 随机梯度下降算法有哪些变体? ? 随机梯度下降算法是深度学习中最常用的算法。算法就是不停地寻找某个节点...

40414
来自专栏Echo is learning

模型选择评估方法

1073
来自专栏机器之心

CVPR 2018 | 腾讯AI Lab、MIT等机构提出TVNet:可端到端学习视频的运动表征

选自arXiv 作者:Lijie Fan、Wenbing Huang、Chuang Gan、Stefano Ermon、Boqing Gong、Junzhou ...

3957
来自专栏机器学习、深度学习

视频中的运动特征--Learning Motion Patterns in Videos

Learning Motion Patterns in Videos CVPR2017 Torch code: http://thoth.inria...

1966
来自专栏新智元

【干货】Python无监督学习的4大聚类算法

3405

扫码关注云+社区