人脸对齐--How far are we from solving the 2D & 3D Face Alignment problem

How far are we from solving the 2D & 3D Face Alignment problem? (and a dataset of 230,000 3D facial landmarks) ICCV2017 https://www.adrianbulat.com/face-alignment Pytorch Code: https://github.com/1adrianb/face-alignment Torch7 Code: https://github.com/1adrianb/2D-and-3D-face-alignment

本文深入探讨了人脸对齐问题,文章题目起的很霸气啊!

facial landmark localization 也就是 face alignment

1 Introduction cascaded regression methods 在人脸对齐上取得不错的效果,但是当存在 large (and unfamiliar) facial poses(也就是一部分特征点 self-occluded landmarks or large in-plane rotations)cascaded regression methods 效果就不太好。近年来 fully Convolutional Neural Network architectures based on heatmap regression have revolutionized human pose estimation,于是沿着这个思路来做人脸对齐。

本文主要有以下几个 contributions: 1) 针对人脸对齐,我们构建了一个很好的基准:通过结合一个最好的网络框架和一个最好的残差模块,在一个很大的2D数据库上训练,然后再其他2D数据库上测试(~230000张图像),分析我们离解决人脸对齐还有多远 2)考虑到 3D 人脸对齐数据库很少,我们训练一个CNN将 2D 标记转为3D,基于此建立一个新的数据库 LS3D-W,得到一个最大的3D facial landmark dataset(~230000张图像) 3) 基于 LS3D-W,我们训练了一个 3D 人脸对齐网络,并在这个数据库上评估了 3D 人脸对齐 4)我们深入分析了影响人脸对齐的各个因素,并引入了一个新的因素:网络规模 the size of the network 5) 我们发现不管是2D 人脸对齐网络还是3D 人脸对齐网络 在目前的数据库上性能都不错,可能接近目前数据库性能上的饱和。

2 Closely related work 2D face alignment: 这里主要使用的是 cascaded regression 方法,基本解决可控人脸姿态的数据库 LFPW [2], Helen [22] and 300-W [30]

CNNs for face alignment:cascade CNN;multi-task learning;recurrent neural networks ;near-frontal faces of 300-W [30] large pose and 3D face alignment

Transferring landmark annotations 数据库的迁移学习

3 Datasets 当前 2D 3D 人脸对齐数据库的一些情况

3.3. Metrics 一般使用的度量方法是 the metric used for face alignment is the point-to-point Euclidean distance normalized by the interocular distance 这里我们改进了一下度量方式:normalize by the bounding box size. In particular, we used the Normalized Mean Error

4 Method 4.1. 2D and 3D Face Alignment Networks Face Alignment Network (FAN) 基于 Hour-Glass (HG) network of [23]

we used 300W-LP-2D and 300W-LP-3D to train 2D-FAN and 3D-FAN

4.2. 2D-to-3D Face Alignment Network 将2D 标记数据转为 3D 标记数据

4.3. Training 这要介绍了各个网络的训练

下面的网络的性能评估 5 2D face alignment

Conclusion: 2D-FAN achieves near saturating performance on the above 2D datasets

6 Large Scale 3D Faces in-the-Wild dataset 2D-to-3D FAN

2D 到3D 的转换引入一定的误差

7 3D face alignment

Facial pose is not a major issue for 3D-FAN

Resolution is not a major issue for 3D-FAN

Initialization is not a major issue for 3D-FAN

There is a moderate performance drop vs the number of parameters of 3D-FAN

最后的结论是: 模型对于目前的数据基本已经达到性能饱和,对于一些不常见的姿态可以通过增加训练数据来提升网络的性能

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Gaussic

使用TensorFlow训练循环神经网络语言模型

读了将近一个下午的TensorFlow Recurrent Neural Network教程,翻看其在PTB上的实现,感觉晦涩难懂,因此参考了部分代码,自己写了...

1673
来自专栏人工智能

从程序员的角度设计一个Java的神经网络

用Java或任何其他编程语言设计神经网络我们需要理解人工神经网络的结构和功能。

1.3K10
来自专栏机器学习、深度学习

人群密度估计--Crowd Counting Via Scale-adaptive Convolutional Nerual Network

Crowd Counting Via Scale-adaptive Convolutional Nerual Network https://arxiv....

2235
来自专栏数据派THU

fastText、TextCNN、TextRNN…这套NLP文本分类深度学习方法库供你选择

文经公众号「机器人圈」授权转载(微信号:ROBO_AI) 本文长度为4473字,建议阅读10分钟 本文为你介绍一套NLP文本分类深度学习方法库及其12个模型。 ...

2.3K12
来自专栏人工智能LeadAI

ResNet原理及其在TF-Slim中的实现

01 摘要 微软的深度残差网络ResNet源于2016年CVPR最佳论文---图像识别中的深度残差学习(Deep Residual Learning for I...

5067
来自专栏人工智能LeadAI

实现与优化深度神经网络

全连接神经网络 辅助阅读:TensorFlow中文社区教程 - 英文官方教程(http://www.tensorfly.cn/tfdoc/tutorials/m...

34811
来自专栏量化投资与机器学习

【ML系列】手把手教你用Numpy构建神经网络!(附代码)

比如使用Keras,TensorFlow或PyTorch这样的高级框架,我们可以快速构建非常复杂的模型。但是,需要花时间去了解其内部结构并理解基本原理。今天,将...

1651
来自专栏机器之心

教程 | 从头开始在Python中开发深度学习字幕生成模型

3804
来自专栏AI研习社

如何使用注意力模型生成图像描述?

我们的目标是用一句话来描述图片, 比如「一个冲浪者正在冲浪」。 本教程中用到了基于注意力的模型,它使我们很直观地看到当文字生成时模型会关注哪些部分。

1532
来自专栏深度学习自然语言处理

深度学习之卷积神经网络CNN理论与实践详解

概括 大体上简单的卷积神经网络是下面这个网络流程: ? 笼统的说: 文本通过Embeding Layer 后,再通过一些filters进行过滤,...

36115

扫码关注云+社区