专栏首页我爱计算机视觉PFLD:简单、快速、超高精度人脸特征点检测算法

PFLD:简单、快速、超高精度人脸特征点检测算法

什么样的算法才是好算法?

真正能实用的算法才是最好的算法!

这需要实现三个目标:精度高、速度快、模型小!

今天arXiv新发布的文章《PFLD: A Practical Facial Landmark Detector》,则是实用人脸特征点检测算法的典范。

PFLD算法,目前主流数据集上达到最高精度、ARM安卓机140fps,模型大小仅2.1M!

这篇今天新出的论文,必将成为人脸特征点检测领域的重要文献,今天我们就一起来探究一下,PFLD算法到底有什么黑科技。

作者信息:

作者分别来自天津大学、武汉大学、腾讯AI实验室、美国天普大学。

感谢各位大牛!

人脸特征点检测的挑战

作者首先从算法实用性角度讨论了人脸特征点检测问题的面临的挑战。

Challenge #1 - Local Variation

人脸表情变化很大,真实环境光照复杂,而且现实中大量存在人脸局部被遮挡的情况等。

Challenge #2 - Global Variation

人脸是3D的,位姿变化多样,另外因拍摄设备和环境影响,成像质量也有好有坏。

Challenge #3 - Data Imbalance

现有训练样本各个类别存在不平衡的问题。

Challenge #4 - Model Efficiency

在计算受限的设备比如手机终端,必须要考虑计算速度和模型文件大小问题。

算法思想

作者使用的网络结构如下:

其中,

黄色曲线包围的是主网络,用于预测特征点的位置;

绿色曲线包围的部分为辅网络,在训练时预测人脸姿态(有文献表明给网络加这个辅助任务可以提高定位精度,具体参考原论文),这部分在测试时不需要。

作者主要用两种方法,解决上述问题。

对于上述影响精度的挑战,修改loss函数在训练时关注那些稀有样本,而提高计算速度和减小模型size则是使用轻量级模型。

Loss函数设计

Loss函数用于神经网络在每次训练时预测的形状和标注形状的误差。

考虑到样本的不平衡,作者希望能对那些稀有样本赋予更高的权重,这种加权的Loss函数被表达为:

M为样本个数,N为特征点个数,Yn为不同的权重,|| * ||为特征点的距离度量(L1或L2距离)。(以Y代替公式里的希腊字母)

进一步细化Yn:

其中

即为最终的样本权重。

K=3,这一项代表着人脸姿态的三个维度,即yaw, pitch, roll 角度,可见角度越高,权重越大。

C为不同的人脸类别数,作者将人脸分成多个类别,比如侧脸、正脸、抬头、低头、表情、遮挡等,w为与类别对应的给定权重,如果某类别样本少则给定权重大。

主网络

作者使用轻量级的MobileNet,其参数如下:

辅网络

参数如下:

实验结果

作者在主流人脸特征点数据集300W,AFLW上测试了精度,尽管看起来上述模型很简单,但超过了以往文献的最高精度!

下图是在300W上的CED,完美将其他算法的曲线压在下面。

下图为在300W数据集上不同评价标准IPN\IOP精度比较结果,依然是最棒的。

其中PFLD 1X是标准网络,PFLD 0.25X是MobileNet blocks width 参数设为0.25的压缩网络,PFLD 1X+是在WFLW数据集上预训练的网络。

值得一提的是表格中LAB算法,是CVPR2018上出现的优秀算法,之前一直是state-of-the-art。感兴趣的朋友可以参考52CV当时的报道:重磅!清华&商汤开源CVPR2018超高精度人脸对齐算法LAB 。

下图是该算法在AFLW数据集上与其他算法的精度比较:

同样是达到了新高度!

下面来看一下算法处理速度和模型大小,图中C代表i7-6700K CPU,G代表080 Ti GPU,G*代表Titan X GPU,A代表移动平台Qualcomm ARM 845处理器。

PFDL同样是异乎优秀!与精度差别很小的LAB算法相比,CPU上的速度提高了2000倍!

下面是一些特征点检测示例,尽管很多样本难度很大,但PFLD依然给出了可以接受的结果。

作者没有开源代码,但给出了Android应用 APK 和Android工程(算法封装在bin文件里)。

这个算法实在是太吸引人了,你是不是也想试一下呢?

作者给的网址:

https://sites.google.com/view/xjguo/fld

在“我爱计算机视觉”公众号对话界面回复“PFLD”即可收到下载地址。

(CV君下载了APK试用,好像没看到效果,不知是不是手机兼容性有问题)

提醒一下,作者声明,该工程仅可用于研究比较,如需商业使用需要联系作者获得授权。

论文地址:

https://arxiv.org/pdf/1902.10859.pdf

PFLD算法看起来简单,但精度却很高,这无疑来自作者设计的Loss函数很好的处理了样本类别不平衡的问题,你觉得还有更好的处理方法吗?欢迎留言。

本文分享自微信公众号 - 我爱计算机视觉(aicvml),作者:CV君

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-03-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 日本东北大学改进单阶段人脸检测—兼具速度与精度优势

    近日来自日本东北大学与Laboro.AI公司的研究人员公开一篇改进的单阶段人脸检测算法论文,其不仅保持了速度的优势而且在主流的人脸数据集上达到与双阶段人脸检测算...

    CV君
  • 超越SiamRPN++,SiamMan达到目标跟踪新SOTA

    今天arXiv上新出论文 SiamMan: Siamese Motion-aware Network for Visual Tracking,提出的目标跟踪算法...

    CV君
  • 深度学习超分辨率最新综述:一文道尽技术分类与效果评测

    CVPR 2019 | 旷视提出超分辨率新方法Meta-SR:单一模型实现任意缩放因子

    CV君
  • 策略模式(Strategy)

    Java高级架构
  • 通过进化算法教生物力学模型学会走路

    (https://github.com/normandipalo/learn-to-walk-with-genetic-algs)

    AI研习社
  • 日本东北大学改进单阶段人脸检测—兼具速度与精度优势

    近日来自日本东北大学与Laboro.AI公司的研究人员公开一篇改进的单阶段人脸检测算法论文,其不仅保持了速度的优势而且在主流的人脸数据集上达到与双阶段人脸检测算...

    CV君
  • 数据工程师的算法!

    翻出来了17年自己梳理的数据工程师的算法学习内容,当时的理解和现在会有些许不同,但整体来看还是可以的,有一些比较细节的内容并没有花较多的时间来整理,留待大家自己...

    木东居士
  • 一个框架解决机器学习大部分问题!

    来源:大数据挖掘DT数据分析 本文长度为2519字,建议阅读5分钟 本文为你介绍一个几乎可以解决任何机器学习问题的自动的机器学习框架。 一个叫 Abhishek...

    数据派THU
  • 基于内容的图像检索技术综述 传统经典方法

    原创声明:本文为 SIGAI 原创文章,仅供个人学习使用,未经允许,不得转载,不能用于商业目的。

    SIGAI学习与实践平台
  • 腾讯开源全栈机器学习平台 Angel 3.0,支持三大类型图计算算法

    10 月 18 日,2019 中关村论坛平行论坛 ——AI WORLD 2019 世界人工智能峰会在北京启幕。新智元杨静、科大讯飞胡郁、微软王永东、华为王成录、...

    新智元

扫码关注云+社区

领取腾讯云代金券