人脸对齐--How far are we from solving the 2D & 3D Face Alignment problem

How far are we from solving the 2D & 3D Face Alignment problem? (and a dataset of 230,000 3D facial landmarks) ICCV2017 https://www.adrianbulat.com/face-alignment Pytorch Code: https://github.com/1adrianb/face-alignment Torch7 Code: https://github.com/1adrianb/2D-and-3D-face-alignment

本文深入探讨了人脸对齐问题,文章题目起的很霸气啊!

facial landmark localization 也就是 face alignment

1 Introduction cascaded regression methods 在人脸对齐上取得不错的效果,但是当存在 large (and unfamiliar) facial poses(也就是一部分特征点 self-occluded landmarks or large in-plane rotations)cascaded regression methods 效果就不太好。近年来 fully Convolutional Neural Network architectures based on heatmap regression have revolutionized human pose estimation,于是沿着这个思路来做人脸对齐。

本文主要有以下几个 contributions: 1) 针对人脸对齐,我们构建了一个很好的基准:通过结合一个最好的网络框架和一个最好的残差模块,在一个很大的2D数据库上训练,然后再其他2D数据库上测试(~230000张图像),分析我们离解决人脸对齐还有多远 2)考虑到 3D 人脸对齐数据库很少,我们训练一个CNN将 2D 标记转为3D,基于此建立一个新的数据库 LS3D-W,得到一个最大的3D facial landmark dataset(~230000张图像) 3) 基于 LS3D-W,我们训练了一个 3D 人脸对齐网络,并在这个数据库上评估了 3D 人脸对齐 4)我们深入分析了影响人脸对齐的各个因素,并引入了一个新的因素:网络规模 the size of the network 5) 我们发现不管是2D 人脸对齐网络还是3D 人脸对齐网络 在目前的数据库上性能都不错,可能接近目前数据库性能上的饱和。

2 Closely related work 2D face alignment: 这里主要使用的是 cascaded regression 方法,基本解决可控人脸姿态的数据库 LFPW [2], Helen [22] and 300-W [30]

CNNs for face alignment:cascade CNN;multi-task learning;recurrent neural networks ;near-frontal faces of 300-W [30] large pose and 3D face alignment

Transferring landmark annotations 数据库的迁移学习

3 Datasets 当前 2D 3D 人脸对齐数据库的一些情况

3.3. Metrics 一般使用的度量方法是 the metric used for face alignment is the point-to-point Euclidean distance normalized by the interocular distance 这里我们改进了一下度量方式:normalize by the bounding box size. In particular, we used the Normalized Mean Error

4 Method 4.1. 2D and 3D Face Alignment Networks Face Alignment Network (FAN) 基于 Hour-Glass (HG) network of [23]

we used 300W-LP-2D and 300W-LP-3D to train 2D-FAN and 3D-FAN

4.2. 2D-to-3D Face Alignment Network 将2D 标记数据转为 3D 标记数据

4.3. Training 这要介绍了各个网络的训练

下面的网络的性能评估 5 2D face alignment

Conclusion: 2D-FAN achieves near saturating performance on the above 2D datasets

6 Large Scale 3D Faces in-the-Wild dataset 2D-to-3D FAN

2D 到3D 的转换引入一定的误差

7 3D face alignment

Facial pose is not a major issue for 3D-FAN

Resolution is not a major issue for 3D-FAN

Initialization is not a major issue for 3D-FAN

There is a moderate performance drop vs the number of parameters of 3D-FAN

最后的结论是: 模型对于目前的数据基本已经达到性能饱和,对于一些不常见的姿态可以通过增加训练数据来提升网络的性能

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏鸿的学习笔记

神经网络结构(中)

革命在2015年12月到来,与Inceptionv3大约在同一时间。 ResNet有一个简单的想法:反馈两个连续的卷积层的输出,并且也绕过输入到下一层!

862
来自专栏腾讯Bugly的专栏

深度神经网络移动终端GPU加速实践

我们尝试去工程化深度神经网络并最终落地,当中的一些实践经验通过本文记录下来。

2963
来自专栏吉浦迅科技

确认过的眼神:这是一份NVIDIA TensorRT 4.0的实战教程

NVIDIA TensorRT是一个高性能的深度学习推理优化器和runtime,为深度学习推理应用程序提供低延迟和高吞吐量。您可以从每个深度学习框架中导入经过训...

1022
来自专栏机器之心

专访 | MATLAB更新R2017b:转换CUDA代码极大提升推断速度

机器之心原创 作者:蒋思源 近日,Mathworks 推出了包含 MATLAB 和 Simulink 产品系列的 Release 2017b(R2017b),该...

3019
来自专栏机器之心

学界 | 斯坦福论文提出MoleculeNet:分子机器学习新基准

选自arXiv 机器之心编译 参与:路雪、李泽南 分子机器学习快速发展,但是缺少用于对比不同方法性能的标准基准,算法进步因此受到限制。斯坦福的研究者提出一种适合...

2817
来自专栏智能算法

基于 10 大编程语言的 30 个深度学习库

本文介绍了包括 Python、Java、Haskell等在内的一系列编程语言的深度学习库。 Python Theano 是一种用于使用数列来定义和评估数学表达的...

3475
来自专栏数据科学与人工智能

【Python环境】Python机器学习库

Python在科学计算领域,有两个重要的扩展模块:Numpy和Scipy。其中Numpy是一个用python实现的科学计算包。包括: 一个强大的N维数组对象Ar...

26210
来自专栏新智元

【最强笔记】12张图理解Keras等8个深度学习库(下载)

【新智元导读】对初学者来说,机器学习和深度学习相当难懂,深度学习库也难以理解。本文作者汇总了从不同来源收集的机器学习相关备忘材料,按不同的库或工具包分类,做成“...

3347
来自专栏专知

【教程】何恺明CVPR2018关于视觉深度表示学习教程

【导读】在今年CVPR 2018上,刚获得“TPAMI”年轻研究员奖的Facebook的Kaiming He做了一个叫“Learning Deep Repres...

1218
来自专栏贾志刚-OpenCV学堂

OpenCV实现人脸对齐

OpenCV实现人脸对齐 一:人脸对齐介绍 在人脸识别中有一个重要的预处理步骤-人脸对齐,该操作可以大幅度提高人脸识别的准确率与稳定性,但是早期的OpenCV版...

4294

扫码关注云+社区