人脸对齐--Pose-Invariant Face Alignment with a Single CNN

Pose-Invariant Face Alignment with a Single CNN ICCV2017 http://cvlab.cse.msu.edu/project-pifa.html 4.3 FPS on a Titan X GPU

本文是解决 large-pose face alignment (LPFA)的,所谓的 large face poses 如 profile views with ±90 度 yaw angles 针对大姿态的人脸对齐问题,目前主流的方法是采用 a cascade of CNN regressors 结合不同类型的回归设计和特征提取方法。 目前 the cascade of CNNs 在大姿态的人脸对齐问题上主要存在以下三个问题: 1) Lack of end-to-end training 目前存在的方法, at each cascade stage CNN网络通常是独立训练的。有的甚至是每个阶段使用多个独立的CNN网络,例如不同的特征点的定位使用不同的 CNN网络,然后再综合起来。 these CNNs can not be jointly optimized and might lead to a sub-optimal solution 2) Hand-crafted feature extraction 因为后一个阶段的CNN的输入依赖于前一个阶段的 CNN输出,导致每个CNN只能是 shallow CNNs,所以 this framework can not extract deep features 3) Slow training speed 每个CNN独立训练,导致整个网络的训练很慢

为了解决上述问题,我们提出了一个 visualization layer

proposed CNN architecture

3.1. 3 D and 2 D Face Shapes 这里基本的思路是 人脸实际上是一个3D 物体,图像中的人脸是一个 2D shape, 这个 2D shape 对应着一个 3D shape ,我们希望通过特征点的对应来得到 2D shape 和 3D shape 的对应关系中的参数,最终我们是通过 CNN网络来学习这些对应参数的

3D face model

visualization block

3.3. Visualization Layer 我们这里使用 Z-Buffering 中的 z coordinate of surface normals of each vertex, transformed with the pose. It is an indicator of “frontability” of a vertex, i.e., the amount that the surface normalispointingtowardsthecamera. Thisquantityisused to assign an intensity value at its projected 2D location to construct the visualization image

Experimental Results

The testing speed of proposed method is 4.3 FPS on a Titan X GPU. It is much faster than the 0.6 FPS speed of [18] and is similar to the 4 FPS speed of [40]

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

【干货】随机森林的Python实现

【新智元导读】在机器学习中,随机森林是一个包含多个决策树的分类器,并且其输出的类别是由个别树输出的类别的众数而定。随机森林几乎是任何预测类问题(甚至非线性问题)...

3435
来自专栏人工智能LeadAI

计算机视觉中 RNN 应用于目标检测

深度学习在计算机视觉领域取得的巨大的发展,最近几年CNN一直是目前主流模型所采取的架构。最近半年RNN/LSTM应用在识别领域逐渐成为一种潮流,RNN在获取目标...

5485
来自专栏目标检测和深度学习

Kaggle 植物幼苗分类大赛优胜者心得

在本文中,作者将向大家介绍其在 Kaggle 植物幼苗分类大赛(https://www.kaggle.com/c/plant-seedlings-classif...

1843
来自专栏专知

【深度前沿】深度森林最新进展,南京大学周志华教授MLA2017解读,最新实验结果挑战深度学习

【导读】北京时间 11月5 日到11月6日,一年一度的“机器学习及其应用”(MLA)系列研讨会在北京交通大学开幕,西瓜书《机器学习》作者、南京大学机器学习与数据...

8855
来自专栏云时之间

深度学习与TensorFlow:FCN论文学习笔记

这篇文章陆陆续续看了快两周,其中也遇到了自己很多的知识的漏洞,踩了很多坑,这里希望能够和大家说一说,也希望大家可以分享一下自己的看法.

1765
来自专栏人工智能头条

CMU最新视觉特征自监督学习模型——TextTopicNet

作者 | Yash Patel,Lluis Gomez,Raul Gomez,Marcal Rusinol,Dimosthenis Karatzas, C.V....

1351
来自专栏智能算法

直观理解深度学习的卷积操作,超赞!

近几年随着功能强大的深度学习框架的出现,在深度学习模型中搭建卷积神经网络变得十分容易,甚至只需要一行代码就可以完成。

862
来自专栏AI研习社

图像分类比赛中,你可以用如下方案举一反三

雷锋网 AI 研习社按,在本文中,作者将向大家介绍其在 Kaggle 植物幼苗分类大赛(https://www.kaggle.com/c/plant-seedl...

973
来自专栏机器之心

学界 |「分段映射」帮助利用少量样本习得新类别细粒度分类器

1902
来自专栏机器学习算法工程师

《机器学习》笔记-支持向量机(6)

作者:刘才权 编辑:田 旭 写在最前面 如今机器学习和深度学习如此火热,相信很多像我一样的普通程序猿或者还在大学校园中的同学,一定也想参与其中。不管是出于好奇,...

3707

扫码关注云+社区