遮挡人脸检测--Detecting Masked Faces in the Wild with LLE-CNNs

Detecting Masked Faces in the Wild with LLE-CNNs CVPR2017

本文针对遮挡人脸检测问题,首先建立了一个新的数据库:MAFA, with 30,811 Internet images and 35,806 masked faces,其次提出了一个 CNN 网络 LLE-CNNs 来用于遮挡人脸检测。

首先来看看新建的数据库 3 MAFA: A Dataset of Masked Faces 3.1. Dataset Construction 我们首先用关键词为 face, mask, occlusion and cover 在网上搜索相关图像,得到大约 300K 张图像,然后过滤掉没有遮挡的图像,剩下 30,811 张图像,每张图像至少有一个遮挡人脸。 我们标记的信息如下:1) Location of faces 2) Locations of eyes 3) Locations of masks 4) Face orientation 5) Occlusion degree 6) Mask type 对于遮挡的人脸,两个眼睛还是相对稳定的特征点,眼睛基本不会被遮挡的,需要眼睛看东西啊

3.2. Dataset Statistics

4 LLE-CNNs for Masked Face Detection 遮挡人脸检测存在两个大的挑战:incomplete facial cues and inaccurate features from mask regions。例如对于一张左侧人脸图像,其嘴巴、下巴、鼻子 都被一个mask 遮挡,导致大部分人脸特征点都是不可见的,从 mask 区域 提取的人脸特征向量含有大量噪声。在这个情况下 需要我们从人脸以外的区域提取额外的信息用于恢复人脸特征,降低噪声的影响。

LLE-CNNs

Proposal Module 人脸候选区域提取模块: 这里级联了两个CNN网络用于 人脸候选区域的生成及特征提取。候选区域的生成使用了文献【35】中的 P-Net,三个卷积层和一个 softmax layer,考虑到遮挡人脸检测难度较大,这里我们的阈值设置较低,生成了大量人脸候选区域。然后用 文献【24】的 VGG 人脸识别网络队每个候选区域 提取一个 4096d descriptor 在将其归一化。这个descriptor 即含有有用信息也含有噪声信息。 the extracted high-dimensional descriptor encodes bothv aluable facial cues as well as the noisy features from mask regions

Embedding Module 这个模块主要实现对被遮挡的人脸特征恢复,抑制特征中的噪声信息。 The embedding module recovers the missing facial cues in x and suppresses the noisy features incorporated by mask regions. Toward this end, a feasible solution is to find the most similar faces or non-faces from an external database and use them to refine x . 这里主要通过查字典的方式 试图将被遮挡的特征区域恢复出来

Verification Module 利用被修复的人脸特征进行人脸区域验证 ,对人脸位置和尺度的微调, The verification module classifies face candidates from the refined facial cues and refines their positions as well as scales

5 Experiments

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏算法+

传统高斯模糊与优化算法(附完整C++代码)

高斯模糊(英语:Gaussian Blur),也叫高斯平滑,是在Adobe Photoshop、GIMP以及Paint.NET等图像处理软件中广泛使用的处理效果...

6405
来自专栏量子位

图像分类入门,轻松拿下90%准确率 | 教你用Keras搞定Fashion-MNIST

这篇教程会介绍如何用TensorFlow里的tf.keras函数,对Fashion-MNIST数据集进行图像分类。

2231
来自专栏机器学习算法与理论

与人脸有关的模型总结

ASM(Active Shape Model)早期的基于统计学习的人脸配准算法 AAM (active appearance model)是ASM的改进算法 C...

2798
来自专栏AI科技评论

开发 | 用GAN来做图像生成,这是最好的方法

前言 在我们之前的文章中,我们学习了如何构造一个简单的 GAN 来生成 MNIST 手写图片。对于图像问题,卷积神经网络相比于简单地全连接的神经网络更具优势,因...

3585
来自专栏新智元

【前沿】何恺明大神ICCV2017最佳论文Mask R-CNN的Keras/TensorFlow/Pytorch 代码实现

【新智元导读】何恺明大神的论文Mask R-CNN 获得ICCV最佳论文 ,而关于这篇论文的TensorFlow\Pytorch\Keras实现相继开源出来,让...

4189
来自专栏AILearning

【Scikit-Learn 中文文档】新异类和异常值检测 - 无监督学习 - 用户指南 | ApacheCN

中文文档: http://sklearn.apachecn.org/cn/stable/modules/outlier_detection.html 英文文...

7227
来自专栏大数据

用R处理不平衡的数据

在分类问题当中,数据不平衡是指样本中某一类的样本数远大于其他的类别样本数。相比于多分类问题,样本不平衡的问题在二分类问题中的出现频率更高。举例来说,在银行或者金...

3474
来自专栏AI深度学习求索

目标检测(CVPR2017):Feature Pyramid Networks

(a)使用图像金字塔构建特征金字塔网络:每个图像尺度上的特征都是独立计算的,速度缓慢。

1023
来自专栏机器学习之旅

R开发:协调过滤推荐

对于realRatingMatrix有六种方法:IBCF(基于物品的推荐)、UBCF(基于用户的推荐)、PCA(主成分分析)、RANDOM(随机推荐)、SVD(...

902
来自专栏Petrichor的专栏

论文阅读: FPN

基于深度网络的检测算法出来之前,检测算法基本都是基于这种scale handling;后来出现的SNIP、SNIPER也是基于Image Pyramid。 ...

2282

扫码关注云+社区