专栏首页计算机视觉战队鲁棒异构判别分析的单样本人脸识别(文末附文章地址)

鲁棒异构判别分析的单样本人脸识别(文末附文章地址)

导读】每个人只有单样本的识别是人脸识别(FR)中最具挑战性的问题之一,每个人只有一个单本(SSPP)参加训练。虽然现有的基于patch的方法在FR中取得了很大的成功,但是在处理复杂的人脸变化时,它们在特征提取和识别阶段仍然存在局限性。今天,我们要说的技术,提出了一种新的基于patch的方法,称为鲁棒异构判别分析(RHDA),用于带有SSPP的FR。为了提高对复杂人脸变化的鲁棒性,首先提出了一种新的基于图的Fisher-like准则,它包含了两个不同的嵌入,以学习图像块的异构判别表示。然后引入两个距离度量,即patch-to-patch距离和patch-to-manifold距离,并通过联合多数投票的方式,开发一种融合策略,将上述两个距离度量的识别输出结合起来进行识别。在各种基准数据集上的实验结果表明了该方法的有效性。

背景

尽管现有的基于patch的SSP 在FR取得了较好的性能,但这些方法仍然存在两个主要缺陷:

1)特征提取:基于图的Fisher准则应用于最先进的基于patch的方法,即DMMA和SDMME不能生成表示(即特征)足够有辨别力的。注意,LE-graph和l1-graph分别是描述图像数据相似性关系和重构关系的两种常用图。然后,对于上述两种基于patch的方法:

  • DMMA保留类内patch的LE-graph,同时破坏类间patch的LE-graph(见下图1),这样做会使类内临近的patch相互靠近,而相邻的类间patch在学习的子空间中保持较远的距离。然而,在该准则中,忽略了类内patch的关键重构结构,可能导致恢复的子空间结构偏离了原本子空间结构。
  • SDMME保留了类内patch的l1-graph,同时破坏了类内patch的l1-graph(见下2)。与直接抑制类间patch的相似性相比,破坏类间重建关系是一种较弱的惩罚,因此类间patch仍然有机会留在附近。此外,SDMME中类间patch的重建系数计算比较费时,因为类间patch的数量远远大于类内patch的数量。

2)识别:人们相信,一个patch的查询示例,它应该(1)类似于patch在同一位置,或/和(2)由邻近重建的patch。然而,现有patch-based方法只考虑两个观测中的一个,这在处理复杂的面部变化时是不够的。例如,PSRC和PCRC只是利用相同位置的patch的相似性来标识查询样本。但是,当查询样本中存在位姿变化或不对齐时,查询与图库样本位置相同的patch很可能不匹配,容易导致查询patch被错误分类。另外,DMMA和SDMME只是简单地计算查询patch程序与库样例中相邻patch程序之间的重建残差,用于识别。然而,这种基于重构的距离度量对查询样本中的严重光照和阴影等面部变化非常敏感。

怎么去解决呢???

方法

针对上述两个问题,提出了一种基于patch的鲁棒异构判别分析方法(RHDA)。

针对第一个问题:基于重构的l1-graph和基于相似度的LE-graph,在RHDA模型中提出了一种新的基于图的Fisher-like准则来对LE-graph和l1-graph进行判别分析。前者保留了同一个体相邻patch稀疏重建关系,后者抑制了不同个体相邻patch的相似性(在下图中看到Fisher-like标准),从而与DMMA和SDMME相比,提高了学习子空间中patch分布的判别能力。

针对第二个问题:提出了两种不同的判别流形嵌入,即判别单流形嵌入(DSME)和判别多流形嵌入(DMME)。这两种嵌入分别将所有人的整个分割块作为单个流形和多流形嵌入进行建模,然后将其合并到类fisher准则中,生成图像块的异构判别表示。随后,引入两个距离公式,即patch-to-patch距离和patch-to-manifold距离,分别对应于单个patch和多个patch,提出了一种融合策略,将异构表示分配给两个距离度量,并通过联合多数投票的方式确定它们的识别输出,从而识别未标记的查询样本。在此基础上,提出的RHDA方法可以大大增强对复杂人脸变化的鲁棒性,并取得良好的识别性能。在五个基准数据集上的实验结果,即、AR、CAS-PEAL、FERET、E-YaleB、Multi-PIE等,用SSPP验证了RHDA对FR的有效性。

框架

下图,提出的两步RHDA:异构特征提取和人脸识别。针对异构特征提取问题,首先构造了一个固有图和一个惩罚图,然后提出了两个判别流形层,最后利用Fisher-like准则生成图像patch的异构判别子空间表示。对于人脸识别,引入了两个距离度量,即提出了一种融合策略,利用异构子空间表示,通过联合多数投票的方式识别每个未标记查询样本。

通过fisher-like准则提取特征:提出了一种新的fisher判别准则来提取两个异质邻接图的判别特征,LE-graph和l1-graph。具体地说,它的目的是在保持l1-graph中相邻类内patch重建关系的同时,抑制LE-graph中不同类的相邻patch。下图中给出了类似Fisher准则的说明。

从下图可以看出:

•首先,原始流形中的patch比较分散,不同主题的流形之间有很高的重叠;

•其次,来自DMMA和SDMME的patch在子空间的散射要优于原始流形,但是不同主体之间仍然存在少量的重叠patch;

•第三,DMME学习的子空间中不同的patch有明显的分离,不同类簇之间的可分离性优于DMMA和SDMME。

下图,提取相邻patch的提取策略,展开局部字典d,高亮框表示patch的xij位置。

算法

联合多数投票方式

数据

实验

不同大小尺度patch的RHDA在不同数据集上的实验结果

本文分享自微信公众号 - 计算机视觉战队(ComputerVisionGzq),作者:Edison_G

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-05-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 论文阅读——Selective Search for Object Recognition

    今天认真把Selective Search for Object Recognition这篇文章阅读完,想来写写自己的见解与想法。如果有错,希望得到大牛们的指点...

    计算机视觉研究院
  • ECCV2020 | Unsupervised Batch Normalization

    BN的理解,其实一句话就是:对于每个隐层神经元,把逐渐向非线性函数映射后向取值区间极限饱和区靠拢的输入分布强制拉回到均值为0方差为1的比较标准的正态分布,使得非...

    计算机视觉研究院
  • 腾讯开源了 | 微信也在用的Transformer加速推理工具(附源码链接)

    自Attention机制提出后,加入attention的Seq2seq模型在各个任务上都有了提升,所以现在的seq2seq模型指的都是结合rnn和attenti...

    计算机视觉研究院
  • 眼底图像中的微动脉瘤分割方法(MICCAI 2020)

    今天分享一篇发表在MICCAI 2020上的论文:Multi-scale Microaneurysms Segmentation Using Embedding...

    Minerva
  • 使用git做patch,查找patch

    2. 当从服务器clone下来了最新的代码,然后想知道中间的某一部分的代码的patch,

    用户3765803
  • react native 增量升级 热更新 思路

    onety码生
  • 学界 | 神奇的面包机!谷歌造出对抗样本的实体版

    机器之心
  • 雪浪制造AI挑战赛(计算辅助良品检测)--top1方案分享

    从今天开始以后会分享一些大佬的竞赛相关的实战案例,很多比赛的题目都是基于实际的需要,所以可以说含金量非常高,分享这些优秀同学的作品也是希望能和大家共同成长进步。...

    AI算法与图像处理
  • Error:java.lang.RuntimeException: Crunching Cruncher dialog_et_bg.9.png failed, see logs

    bug描述:楼主在导入一个项目(Eclipse项目)的时候就遇到了一个这样的bug:

    IT大飞说
  • AudioToolbox_如何录制PCM格式的数据

    先来认识一下头文件 AudioConverter.h: 音频转换接口。定义用于创建和使用音频转换器的接口 AudioFile.h: 定义一个用于读取和写入...

    酷走天涯

扫码关注云+社区

领取腾讯云代金券