人脸对齐--Pose-Invariant Face Alignment with a Single CNN

Pose-Invariant Face Alignment with a Single CNN ICCV2017 http://cvlab.cse.msu.edu/project-pifa.html 4.3 FPS on a Titan X GPU

本文是解决 large-pose face alignment (LPFA)的,所谓的 large face poses 如 profile views with ±90 度 yaw angles 针对大姿态的人脸对齐问题,目前主流的方法是采用 a cascade of CNN regressors 结合不同类型的回归设计和特征提取方法。 目前 the cascade of CNNs 在大姿态的人脸对齐问题上主要存在以下三个问题: 1) Lack of end-to-end training 目前存在的方法, at each cascade stage CNN网络通常是独立训练的。有的甚至是每个阶段使用多个独立的CNN网络,例如不同的特征点的定位使用不同的 CNN网络,然后再综合起来。 these CNNs can not be jointly optimized and might lead to a sub-optimal solution 2) Hand-crafted feature extraction 因为后一个阶段的CNN的输入依赖于前一个阶段的 CNN输出,导致每个CNN只能是 shallow CNNs,所以 this framework can not extract deep features 3) Slow training speed 每个CNN独立训练,导致整个网络的训练很慢

为了解决上述问题,我们提出了一个 visualization layer

proposed CNN architecture

3.1. 3 D and 2 D Face Shapes 这里基本的思路是 人脸实际上是一个3D 物体,图像中的人脸是一个 2D shape, 这个 2D shape 对应着一个 3D shape ,我们希望通过特征点的对应来得到 2D shape 和 3D shape 的对应关系中的参数,最终我们是通过 CNN网络来学习这些对应参数的

3D face model

visualization block

3.3. Visualization Layer 我们这里使用 Z-Buffering 中的 z coordinate of surface normals of each vertex, transformed with the pose. It is an indicator of “frontability” of a vertex, i.e., the amount that the surface normalispointingtowardsthecamera. Thisquantityisused to assign an intensity value at its projected 2D location to construct the visualization image

Experimental Results

The testing speed of proposed method is 4.3 FPS on a Titan X GPU. It is much faster than the 0.6 FPS speed of [18] and is similar to the 4 FPS speed of [40]

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏菩提树下的杨过

机器学习笔记(4):多类逻辑回归-使用gluton

接上一篇机器学习笔记(3):多类逻辑回归继续,这次改用gluton来实现关键处理,原文见这里 ,代码如下: import matplotlib.pyplot a...

1895
来自专栏UAI人工智能

连载 | 深度学习入门第六讲

1226
来自专栏云霄雨霁

算法设计策略----动态规划法

1210
来自专栏https://www.cnblogs.com/L

【Caffe篇】--Caffe从入门到初始及各层介绍

Caffe,全称Convolutional Architecture for Fast Feature Embedding。是一种常用的深度学习框架,主要应用在...

942
来自专栏人工智能头条

Hype:组合机器学习和超参数优化

1788
来自专栏机器学习、深度学习

人群分割--Fully Convolutional Neural Networks for Crowd Segmentation

Fully Convolutional Neural Networks for Crowd Segmentation https://arxiv.org/a...

1987
来自专栏媒矿工厂

HDR关键技术:色调映射(二)

HDR技术近年来发展迅猛,在未来将会成为图像与视频领域的主流。如何让HDR图像与视频也能够同时兼容地在现有的SDR显示设备上显示,是非常重要的技术挑战。色调映射...

5524
来自专栏AI研习社

从聚合-转移框架浅谈卷积神经网络的架构设计

本次Paper Reading我们并没有关注某些特定的paper,而是用一个视角对现有的代表性的卷积神经网络设计进行总结。

1052
来自专栏计算机视觉战队

资源 | 深度学习入门和学习书籍

最近很多新入门的同学问我到底怎么入门,今天先给大家推荐一些有用的书籍和简单的入门。希望可以给有需要的朋友一些帮助,谢谢! 最近新出一本学习书籍,是我们学校焦李成...

3679
来自专栏专知

【干货】用极少量样本有效的训练分类器-对抗自编码器PyTorch手把手实战系列

2312

扫码关注云+社区