人脸对齐介绍

导语 介绍人脸对齐的定义、任务、应用、常用算法以及难点

一、 人脸对齐,也叫做人脸特征点检测,图为人脸特征点例子

二、 人脸对齐有哪些应用?

1. 五官定位

2. 表情识别

3. 人脸漫画、素描生成

4. 增强现实

5. 换脸

6. 3D建模

三、 人脸对齐的任务

给定人脸区域 i,从该区域出发, 根据一定的规则 F,找到特征点位置 x。即:x = F(i)

所以, 人脸对齐算法便是设计函数(规则)F, F的优劣变体现在拟合效果、运行效率、参数存储空间、泛化能力(即适应数据集以外的人脸,比如真实环境下的人脸)。

上图是ASM的拟合过程, 人脸对齐算法通常都是从一个标准形状开始迭代,逐渐收敛。

四、 当前有哪些对齐算法?

传统方法

1. 基于人脸形状建模

可变形模板(Deformable Template)、点分布模型(主动形状模型Active Shape Model)、图模型、级联形状回归模型等。

2. 基于人脸表观建模

分为两类,一是对全局纹理建模,这里全局是指整张脸,主要有AAM等;一种对局部纹理进行建模,有颜色模型、投影模型等。

这里重点说明下基于级联形状回归模型框架的算法,因为近几年出现的很多比较好的算法都属于该框架下的。比如SDM、LBF、DRMF等。级联形状回归模型通过学习一个嵌套函数从而形成多层来逼近F。

x = F(f_1(f_2(...f_n(x_0, i))))

后续会详细介绍级联形状回归模型级联形状回归模型框架以及相关框架

深度网络模型

前面提到的fi 都是用传统的机器学习方法设计的, 目前已出现基于深度网络模型来设计fi的算法, 比如卷积神经网络(CNN)、深度自编码器(DAE)和受限玻尔兹曼机(RBM)等。 后续将重点研究该领域。

关于人脸检测与对齐的融合

这类算法的idea是检测与对齐部分过程可以复用,

该类算法对于跟踪有很好的帮助, 因为在跟踪过程中需要验证预测的区域是否是人脸, 需要用到人脸检测器, 而人脸检测器通常速度较慢, 如果对齐与检测同时做了的话, 验证的时间时间可减少很多。提高追踪效率。该类算法有 JDA(Joint Cascade Face Detection and Alignment)、MTCNN等

五、 人脸对齐面临的挑战

大姿态、夸张表情、光线明暗、遮挡、场景多变等等问题。

六、 移动端选择对齐算法考虑的问题:

速度、模型大小、追踪问题等

参考资料

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏灯塔大数据

原创译文|从神经网络说起:深度学习初学者不可不知的25个术语和概念(下)

人工智能,深度学习和机器学习,不论你现在是否能够理解这些概念,你都应该学习。否则三年内,你就会像灭绝的恐龙一样被社会淘汰。 ——马克·库班(NBA小牛队老板,...

4277
来自专栏郭耀华‘s Blog

批标准化(Batch Norm)

BN作用: 加速收敛 控制过拟合,可以少用或不用Dropout和正则 降低网络对初始化权重不敏感 允许使用较大的学习率 一、如何加速收敛? 通过归一化输入值/隐...

4184
来自专栏数据分析

[机器学习]-[数据预处理]-中心化 缩放 KNN(一)

据预处理是总称,涵盖了数据分析师使用它将数据转处理成想要的数据的一系列操作。例如,对某个网站进行分析的时候,可能会去掉 html 标签,空格,缩进以及提取相关关...

3995
来自专栏专知

迁移学习在深度学习中的应用

▌简介 ---- 迁移学习是一种机器学习方法,其中为一个任务开发的模型可以在另一个任务中重用。 迁移学习是深度学习中的一种流行方法,其中预训练(pre-trai...

2715
来自专栏新智元

周志华最新论文挑战深度学习 | 深度森林:探索深度神经网络以外的方法

【新智元导读】西瓜书《机器学习》作者、南京大学周志华日前发表论文,提出了一种基于树的方法,挑战深度学习。在设置可类比的情况下,新方法 gcForest 取得了和...

35711
来自专栏语言、知识与人工智能

IJCAI 2018 | 腾讯知文等提出新型总结式摘要模型:结合主题信息和强化学习训练生成更优摘要

2366
来自专栏一直在跳坑然后爬坑

向量空间相关概念总结-线性相关

严格定义: 如果存在不全为零的实数k1、k2...km,使上面的等式成立,则这个向量组线性相关,否则线性无关。 注:这里这个向量组里是包含...

893
来自专栏机器之心

继1小时训练ImageNet之后,大批量训练扩展到了3万2千个样本

3685
来自专栏数据科学与人工智能

【机器学习】神经网络技术篇

在上一篇文章里,小编给大家概括地介绍了下神经网络的历史和应用。这次,小编要给大家细细讲解下神经网络的组成,和几种常见神经网络的模型及其适用领域。 基本组成 顾名...

2597
来自专栏AI科技大本营的专栏

何恺明、吴育昕最新成果:用组归一化替代批归一化

编译 | 阿司匹林 AI科技大本营按:近日,FAIR 团队的吴育昕和何恺明提出了组归一化(Group Normalization,简称 GN)的方法。其中,GN...

3335

扫码关注云+社区