遮挡人脸检测--Detecting Masked Faces in the Wild with LLE-CNNs

Detecting Masked Faces in the Wild with LLE-CNNs CVPR2017

本文针对遮挡人脸检测问题,首先建立了一个新的数据库:MAFA, with 30,811 Internet images and 35,806 masked faces,其次提出了一个 CNN 网络 LLE-CNNs 来用于遮挡人脸检测。

首先来看看新建的数据库 3 MAFA: A Dataset of Masked Faces 3.1. Dataset Construction 我们首先用关键词为 face, mask, occlusion and cover 在网上搜索相关图像,得到大约 300K 张图像,然后过滤掉没有遮挡的图像,剩下 30,811 张图像,每张图像至少有一个遮挡人脸。 我们标记的信息如下:1) Location of faces 2) Locations of eyes 3) Locations of masks 4) Face orientation 5) Occlusion degree 6) Mask type 对于遮挡的人脸,两个眼睛还是相对稳定的特征点,眼睛基本不会被遮挡的,需要眼睛看东西啊

3.2. Dataset Statistics

4 LLE-CNNs for Masked Face Detection 遮挡人脸检测存在两个大的挑战:incomplete facial cues and inaccurate features from mask regions。例如对于一张左侧人脸图像,其嘴巴、下巴、鼻子 都被一个mask 遮挡,导致大部分人脸特征点都是不可见的,从 mask 区域 提取的人脸特征向量含有大量噪声。在这个情况下 需要我们从人脸以外的区域提取额外的信息用于恢复人脸特征,降低噪声的影响。

LLE-CNNs

Proposal Module 人脸候选区域提取模块: 这里级联了两个CNN网络用于 人脸候选区域的生成及特征提取。候选区域的生成使用了文献【35】中的 P-Net,三个卷积层和一个 softmax layer,考虑到遮挡人脸检测难度较大,这里我们的阈值设置较低,生成了大量人脸候选区域。然后用 文献【24】的 VGG 人脸识别网络队每个候选区域 提取一个 4096d descriptor 在将其归一化。这个descriptor 即含有有用信息也含有噪声信息。 the extracted high-dimensional descriptor encodes bothv aluable facial cues as well as the noisy features from mask regions

Embedding Module 这个模块主要实现对被遮挡的人脸特征恢复,抑制特征中的噪声信息。 The embedding module recovers the missing facial cues in x and suppresses the noisy features incorporated by mask regions. Toward this end, a feasible solution is to find the most similar faces or non-faces from an external database and use them to refine x . 这里主要通过查字典的方式 试图将被遮挡的特征区域恢复出来

Verification Module 利用被修复的人脸特征进行人脸区域验证 ,对人脸位置和尺度的微调, The verification module classifies face candidates from the refined facial cues and refines their positions as well as scales

5 Experiments

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习、深度学习

人脸检测--Face Detection with End-to-End Integration of a ConvNet and a 3D Model

Face Detection with End-to-End Integration of a ConvNet and a 3D Model ECCV201...

1897
来自专栏专知

机器学习的Pytorch实现资源集合

【导读】该项目用pytorch实现了从最基本的机器学习算法:回归、聚类,到深度学习、强化学习等。该项目的目的不是生成尽可能优化和计算效率的算法,而是以透明和可访...

981
来自专栏机器之心

业界 | Poseidon:高效的分布式深度学习通信架构

选自arXiv 机器之心编译 参与:蒋思源、吴攀 近日,卡耐基梅隆大学(CMU)和 Petuum 推出了新一代高效的分布式深度学习通信架构 Poseidon。P...

2989
来自专栏AI科技评论

从LeNet到SENet——卷积神经网络回顾

AI 科技评论按:本文为浙江大学范星为 AI 科技评论撰写的独家稿件,未经许可不得转载。 从 1998 年经典的 LeNet,到 2012 年历史性的 Alex...

3214
来自专栏机器之心

学界 | 结合堆叠与深度转换的新型神经翻译架构:爱丁堡大学提出BiDeep RNN

3044
来自专栏AI研习社

说到修图这件事,你还真是比不上AI | 2分钟读论文

来源 / Two Minute Papers 翻译 / 林立宏 校对 / J叔 整理 / 雷锋字幕组 本期论文 Visual Attribute Transfe...

2778
来自专栏SnailTyan

Squeeze-and-Excitation Networks论文翻译——中英文对照

Squeeze-and-Excitation Networks Abstract Convolutional neural networks are built...

2120
来自专栏机器之心

继1小时训练ImageNet之后,大批量训练扩展到了3万2千个样本

3395
来自专栏新智元

基于分形结构的极深神经网络,超越 ImageNet 2015 冠军 ResNet(附论文下载)

【新智元导读】ResNet 是 ImageNet 2015 冠军,通过让网络对残差进行学习,在深度和精度上做到了比 CNN 更加强大。于是有人认为残差结构对此很...

3194
来自专栏机器之心

学界 | 新研究将GRU简化成单门架构,或更适用于语音识别

选自arXiv 机器之心编译 参与:Panda Yoshua Bengio 领导的一个团队近日在 arXiv 上发布了一篇论文,介绍了他们通过修改门控循环单元(...

2688

扫码关注云+社区