遮挡人脸检测--Detecting Masked Faces in the Wild with LLE-CNNs

Detecting Masked Faces in the Wild with LLE-CNNs CVPR2017

本文针对遮挡人脸检测问题,首先建立了一个新的数据库:MAFA, with 30,811 Internet images and 35,806 masked faces,其次提出了一个 CNN 网络 LLE-CNNs 来用于遮挡人脸检测。

首先来看看新建的数据库 3 MAFA: A Dataset of Masked Faces 3.1. Dataset Construction 我们首先用关键词为 face, mask, occlusion and cover 在网上搜索相关图像,得到大约 300K 张图像,然后过滤掉没有遮挡的图像,剩下 30,811 张图像,每张图像至少有一个遮挡人脸。 我们标记的信息如下:1) Location of faces 2) Locations of eyes 3) Locations of masks 4) Face orientation 5) Occlusion degree 6) Mask type 对于遮挡的人脸,两个眼睛还是相对稳定的特征点,眼睛基本不会被遮挡的,需要眼睛看东西啊

3.2. Dataset Statistics

4 LLE-CNNs for Masked Face Detection 遮挡人脸检测存在两个大的挑战:incomplete facial cues and inaccurate features from mask regions。例如对于一张左侧人脸图像,其嘴巴、下巴、鼻子 都被一个mask 遮挡,导致大部分人脸特征点都是不可见的,从 mask 区域 提取的人脸特征向量含有大量噪声。在这个情况下 需要我们从人脸以外的区域提取额外的信息用于恢复人脸特征,降低噪声的影响。

LLE-CNNs

Proposal Module 人脸候选区域提取模块: 这里级联了两个CNN网络用于 人脸候选区域的生成及特征提取。候选区域的生成使用了文献【35】中的 P-Net,三个卷积层和一个 softmax layer,考虑到遮挡人脸检测难度较大,这里我们的阈值设置较低,生成了大量人脸候选区域。然后用 文献【24】的 VGG 人脸识别网络队每个候选区域 提取一个 4096d descriptor 在将其归一化。这个descriptor 即含有有用信息也含有噪声信息。 the extracted high-dimensional descriptor encodes bothv aluable facial cues as well as the noisy features from mask regions

Embedding Module 这个模块主要实现对被遮挡的人脸特征恢复,抑制特征中的噪声信息。 The embedding module recovers the missing facial cues in x and suppresses the noisy features incorporated by mask regions. Toward this end, a feasible solution is to find the most similar faces or non-faces from an external database and use them to refine x . 这里主要通过查字典的方式 试图将被遮挡的特征区域恢复出来

Verification Module 利用被修复的人脸特征进行人脸区域验证 ,对人脸位置和尺度的微调, The verification module classifies face candidates from the refined facial cues and refines their positions as well as scales

5 Experiments

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习之旅

python开发:基于SSD下的图像内容识别(一)1.首先,先看一下我们能达到什么样的效果:2.我们需要做哪些基本的步骤:

鸽了将近有一个月的时间没有更新东西,真的不是因为我懒,主要在忙一些工作上的事情,然后就是被安装caffe环境折磨的死去活来。我本来用的上mba来搭caffe环境...

703
来自专栏SnailTyan

Single Shot MultiBox Detector论文翻译——中文版

SSD: Single Shot MultiBox Detector 摘要 我们提出了一种使用单个深度神经网络来检测图像中的目标的方法。我们的方法命名为SSD,...

2490
来自专栏AI研习社

从编程实现角度学习 Faster R-CNN(附极简实现)

Faster R-CNN 的极简实现: github: simple-faster-rcnn-pytorch(http://t.cn/RHCDoPv ) 本文插...

7225
来自专栏潇涧技术专栏

Numerical Methods using Matlab

内容包括:基本幂法,逆幂法和移位幂法,QR分解,Householder变换,实用QR分解技术,奇异值分解SVD

852
来自专栏SnailTyan

Very Deep Convolutional Networks for Large-Scale Image Recognition—VGG论文翻译—中文版

声明:作者翻译论文仅为学习,如有侵权请联系作者删除博文,谢谢! Very Deep Convolutional Networks for Large-Scale...

2510
来自专栏AI研习社

理解 YOLO 目标检测

这篇文章从它的角度解释了YOLO目标检测结构。它将不会描述网络的优缺点以及每个网络设计如何选择的原因。相反的,它关注的是网络是如何工作的。在你阅读之前,你应该对...

583
来自专栏有趣的Python

9- OpenCV+TensorFlow 入门人工智能图像处理-8- OpenCV+TensorFlow 入门人工智能图像处理-图像修复

2734
来自专栏专知

【论文推荐】最新七篇图像分类相关论文—条件标签空间、生成对抗胶囊网络、深度预测编码网络、生成对抗网络、数字病理图像、在线表示学习

【导读】专知内容组整理了最近七篇图像分类(Image Classification)相关文章,为大家进行介绍,欢迎查看! 1. Learning Image C...

3807
来自专栏大数据挖掘DT机器学习

【kaggle实战】从KNN,LR,SVM,RF到深度学习

@蜡笔小轩V 原文:http://blog.csdn.net/Dinosoft/article/details/50734539 纸上得来终觉浅,还是要多实践...

7186
来自专栏深度学习计算机视觉

【人脸检测】Compact Cascade CNN和MTCNN算法

【文章导读】目前人脸识别技术已经遍地开花,火车站、机场、会议签到等等领域都有应用,人脸识别的过程中有个重要的环节叫做人脸检测,顾名思义就是在一张图片中找出所有的...

1401

扫码关注云+社区