人脸识别 | 基于深度学习以人类为中心的图像理解

计算机视觉研究院

发布于 2019-05-13 18:09:37

1.4K0

发布于 2019-05-13 18:09:37

文章被收录于专栏：计算机视觉战队

今天和大家说的是关于人脸识别及人类部件解析。下面先给大家展示下具体背景及效果图，然后我们开始展开讲解。

在现实生活中，可以通过很多路径产生图像，比如以上的所有设备，都可以迅速以及实时的采集图像，所以现实中图像数据最为常见，所以针对人脸识别有一个比较好的优势，就是可以通过一些设备进行监查，时刻在手机数据样本，增加设计框架的泛化性能。

今天主要讲解的框架如下:

那我们先说说Face Recognition！根据最近几年的框架开始展开讲解：

3D-Aided Dual-Agent GANs forUnconstrained Face Recognition

主要提出一种Dual-Agent生成对抗网络(DA-GaN)模型，该模型能够提高真实人脸仿真器输出的真实感，同时在真实感细化过程中保留身份信息。Dual-Agent是专为区分真伪和身份而设计的。特别是使用现成的三维人脸模型作为模拟器来生成不同姿态的轮廓人脸图像，Da-GAN利用FCN作为发生器，利用自动编码器作为Dual-Agent的判别器，除了新的结构外，还对标准GAN进行了几个关键的修改，以保持姿态和纹理，保持身份和稳定训练过程：(1)姿态感知损失；(2)身份感知损失；(3)具有边界平衡正则项的对抗性损失。此外，所提出的DA-GAN也是一种更有效地解决通用迁移学习问题的新方法。

Keywords: UnconstrainedFaceRecognition;FaceSynthesis;3DFaceModel;GenerativeAdversarial Networks

Towards Pose Invariant FaceRecognition in the Wild

在人脸识别中，影响准确率的一个比较重要的因素是姿态的多样性。放眼目前的人脸识别技术，有两种方法为主流方向，一种是直接提取不同姿态的人脸特征，另一种就是再提取特征之前，现将人脸摆正。

本文方法可以将两种方法联合起来使用，最终二者相互影响，实现准确率的提升。提出了一种Pose Invariant Model (PIM)的方法来识别自然场景的人脸。

本方法有三个新颖之处：

1、PIM是一个新奇统一的深度框架包括了人脸摆正（Face Frontalization sub-Net, FFN）和一个特征学习(Discriminative Learning sub-NetDLN）；

2、FFN是一个设计好的双通道的GAN网络来同时感知全局和局部的细节；

3、DLN是一个人脸识别的中通用的CNN，利用enforced交叉熵来优化网络。

主要用一下案例讲解：

Winner:CVPR2017 LIP Human ParsingChallenge

提出了一种用于人体解析的自监督神经聚合网络(SSNAN)。SSNAN自适应地学习在每个像素“address”上聚合多尺度特征。为了进一步提高特征识别能力，在不需要额外监督的情况下，采用自监督的联合损失作为辅助学习策略，将人的联合结构引入到分析结果中。提出的SSNAN是端到端可训练的，SSNAN可以集成到任何先进的神经网络中，以帮助在不同的位置和尺度上聚集关于重要性的特征，并从全局的角度整合关于人类关节结构的丰富的高级知识，从而提高解析结果。