人脸对齐--How far are we from solving the 2D & 3D Face Alignment problem

How far are we from solving the 2D & 3D Face Alignment problem? (and a dataset of 230,000 3D facial landmarks) ICCV2017 https://www.adrianbulat.com/face-alignment Pytorch Code: https://github.com/1adrianb/face-alignment Torch7 Code: https://github.com/1adrianb/2D-and-3D-face-alignment

本文深入探讨了人脸对齐问题,文章题目起的很霸气啊!

facial landmark localization 也就是 face alignment

1 Introduction cascaded regression methods 在人脸对齐上取得不错的效果,但是当存在 large (and unfamiliar) facial poses(也就是一部分特征点 self-occluded landmarks or large in-plane rotations)cascaded regression methods 效果就不太好。近年来 fully Convolutional Neural Network architectures based on heatmap regression have revolutionized human pose estimation,于是沿着这个思路来做人脸对齐。

本文主要有以下几个 contributions: 1) 针对人脸对齐,我们构建了一个很好的基准:通过结合一个最好的网络框架和一个最好的残差模块,在一个很大的2D数据库上训练,然后再其他2D数据库上测试(~230000张图像),分析我们离解决人脸对齐还有多远 2)考虑到 3D 人脸对齐数据库很少,我们训练一个CNN将 2D 标记转为3D,基于此建立一个新的数据库 LS3D-W,得到一个最大的3D facial landmark dataset(~230000张图像) 3) 基于 LS3D-W,我们训练了一个 3D 人脸对齐网络,并在这个数据库上评估了 3D 人脸对齐 4)我们深入分析了影响人脸对齐的各个因素,并引入了一个新的因素:网络规模 the size of the network 5) 我们发现不管是2D 人脸对齐网络还是3D 人脸对齐网络 在目前的数据库上性能都不错,可能接近目前数据库性能上的饱和。

2 Closely related work 2D face alignment: 这里主要使用的是 cascaded regression 方法,基本解决可控人脸姿态的数据库 LFPW [2], Helen [22] and 300-W [30]

CNNs for face alignment:cascade CNN;multi-task learning;recurrent neural networks ;near-frontal faces of 300-W [30] large pose and 3D face alignment

Transferring landmark annotations 数据库的迁移学习

3 Datasets 当前 2D 3D 人脸对齐数据库的一些情况

3.3. Metrics 一般使用的度量方法是 the metric used for face alignment is the point-to-point Euclidean distance normalized by the interocular distance 这里我们改进了一下度量方式:normalize by the bounding box size. In particular, we used the Normalized Mean Error

4 Method 4.1. 2D and 3D Face Alignment Networks Face Alignment Network (FAN) 基于 Hour-Glass (HG) network of [23]

we used 300W-LP-2D and 300W-LP-3D to train 2D-FAN and 3D-FAN

4.2. 2D-to-3D Face Alignment Network 将2D 标记数据转为 3D 标记数据

4.3. Training 这要介绍了各个网络的训练

下面的网络的性能评估 5 2D face alignment

Conclusion: 2D-FAN achieves near saturating performance on the above 2D datasets

6 Large Scale 3D Faces in-the-Wild dataset 2D-to-3D FAN

2D 到3D 的转换引入一定的误差

7 3D face alignment

Facial pose is not a major issue for 3D-FAN

Resolution is not a major issue for 3D-FAN

Initialization is not a major issue for 3D-FAN

There is a moderate performance drop vs the number of parameters of 3D-FAN

最后的结论是: 模型对于目前的数据基本已经达到性能饱和,对于一些不常见的姿态可以通过增加训练数据来提升网络的性能

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏量子位

DeepMind的脑补AI再获新技能:看文字知场景、复杂环境、连续视频……

722
来自专栏专知

【专知中秋呈献-PyTorch手把手深度学习教程03】LSTM快速理解与PyTorch实现: 图文+代码

首先祝各位专知好友,中秋佳节快乐! 【导读】主题链路知识是我们专知的核心功能之一,为用户提供AI领域系统性的知识学习服务,一站式学习人工智能的知识,包含人工...

4846
来自专栏新智元

【干货】18个技巧实战深度学习,资深研究员的血泪教训

【新智元导读】资深工程师 Nikolas Markou 回顾他多年来在一线使用深度学习的经验,总结出 18 个能让你充分发挥深度神经网络潜力的诀窍,简洁明了,直...

3247
来自专栏大数据挖掘DT机器学习

数据挖掘工程师笔试及答案

2013百度校园招聘数据挖掘工程师 一、简答题(30分) 1、简述数据库操作的步骤(10分) 步骤:建立数据库连接、打开数据库连接、建立数据库命令、运行数据库命...

3938
来自专栏大数据挖掘DT机器学习

【续】分类算法之贝叶斯网络(Bayesian networks)

在上一篇文章中我们讨论了朴素贝叶斯分类。朴素贝叶斯分类有一个限制条件,就是特征属性必须有条件独立或基本独立(实际上在现实应用中几乎不可能做到完全独立)。当...

3328
来自专栏用户2442861的专栏

卷积神经网络CNN经典模型整理Lenet,Alexnet,Googlenet,VGG,Deep Residual Learning

欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld。  技术交流QQ群:433250724,欢迎对算法、技术感兴趣的同...

971
来自专栏AI研习社

自定义损失函数Gradient Boosting

互联网上有很多关于梯度提升的很好的解释(我们在参考资料中分享了一些选择的链接),但是我们注意到很少有人提起自定义损失函数的信息:为什么要自定义损失函数,何时需要...

3933
来自专栏张善友的专栏

一个开源的,跨平台的.NET机器学习框架ML.NET

1456
来自专栏AI科技大本营的专栏

无人驾驶汽车系统入门——基于Frenet优化轨迹的无人车动作规划方法

基于 Frenet 坐标系的动作规划方法由于是由 BMW 的 Moritz Werling 提出的,为了简便,我们在后文中也会使用 Werling 方法简称。在...

2094
来自专栏数据科学与人工智能

【Python环境】python数据挖掘领域工具包

Python在科学计算领域,有两个重要的扩展模块:Numpy和Scipy。其中Numpy是一个用python实现的科学计算包。包括: 一个强大的N维数组对象Ar...

2787

扫码关注云+社区