JDAI-Face | 新型人脸属性识别系统技术解析

人可以轻易理解所看到的视觉信息,但将同样的能力赋予计算机,并让其代替人类来进行类脑思考,是人工智能学术界、产业界争相研究的科学课题。人脸作为最重要的生物特征,蕴含了大量的属性信息,如性别、种族、年龄、表情、颜值等,而如何对这些属性信息进行预测,则是人脸分析领域的研究热点之一。

现有的人脸属性识别方法主要是针对单一任务,如限制于年龄估计、性别识别等某一单项任务预测。对于多个属性的识别算法,现有单任务的人脸属性算法很难扩展至多任务的属性识别。若同时对于单一任务进行集成,则算法复杂度和耗时则会大大增加,不利于系统的部署。因此,设计多任务的人脸属性算法,同时预测出人脸的多个属性,并开发出相应的多任务人脸属性识别实时系统,仍然是研究的难点。

京东AI研究院目前推出一种新型的人脸属性识别系统——JDAI-Face,在实时多任务人脸属性识别上取得重大进展。经过大量研究投入,该人脸属性识别系统通过采用深度学习卷积神经网络进行分类或回归的方式、模型基于多任务学习,使得不同属性之间可辅助进行预测,实现实时人脸属性预测。

该系统在零售行业具有丰富的应用场景,如可在智能信息屏幕终端实时识别用户画像,从而更加精准的进行广告或商品推荐;通过智能摄像头识别进店用户属性,进行目标顾客群体分析;还可以结合各种创意方式应用于用户营销互动,给用户留下深刻的印象。

在京东618启动大会上,现场与观众进行互动,效果图如下:

根据人脸属性分析可知,现场的男女性别比例大概是6:4,年龄分布主要集中在18-30岁之间的青年,颜值较高的参会人员比例较大。从这些属性的分布情况,再基于人脸属性值信息,匹配预先设定好的业务内容,就可精准的进行广告或商品推荐,与用户产生良性互动。

>>>>

京东人脸属性识别系统主要流程

该系统首先检测图片中的人脸,对于检测到的每张人脸,识别各项人脸属性,包括性别、种族、年龄、笑脸、颜值等信息,主要流程包括人脸检测,关键点定位,人脸校正和属性识别四个部分。

人脸检测。检测图片上是否出现人脸,它的位置及大小。京东AI平台与研究部基于深度学习的人脸检测算法采用多个网络分支进行多尺度的人脸检测,从而融合了多层的信息,使得保证高精度的前提下,实现快速实时的人脸检测。

同时,为使得深度网络可检测到尺度更小的人脸,通过采用anchor(锚点)密度均衡化策略[1],并对同一层的anchor数量不均衡性做了处理,进一步提升了人脸检测的性能。具体效果如图:

关键点定位。在检测到人脸之后,算法继续确定出鼻子、眼睛、嘴巴等位置以及人脸轮廓,实现人脸关键点(landmark)的定位。京东AI平台与研究部的人脸关键点定位采用25-106个关键点回归算法[2],设计专门的网络架构并根据关键点的输出与真实值不断调整回归的参数。针对姿态较大的人脸,采用3D拟合算法,生成出相应地大姿态训练集,使得整体算法对于大姿态的人脸关键点定位更为鲁棒,并据此设计出半自动人脸关键点标注算法。训练得到的模型可精确确定出鼻子,嘴巴,眼睛,眉毛,轮廓等位置。效果示意图如下:

人脸对齐。根据预测的关键点位置和模板关键点的位置,进行2D的仿射变换,以达到人脸对齐的目的。下图显示,对齐之后的人脸眼睛已在水平线上,可直接用于人脸属性识别。

人脸属性的识别。用户感兴趣的人脸属性包含很多,比如人脸的年龄、性别、表情、种族、胡子,及是否佩戴饰品等等类型。该阶段通常采用深度学习卷积神经网络进行分类或回归,模型基于多任务学习,使得不同属性之间可辅助进行预测[3]。

上图展示了识别的5种主要属性值,包括性别、种族、年龄、笑脸值和颜值。对于种族识别(亚洲黄种人,白种人,黑种人),性别识别(男,女)采用Softmax损失函数进行训练,对于笑脸值识别和颜值识别,将这两个属性的标签设置在0-100之间,进行回归预测。而对于年龄识别,现有算法较多,京东人脸年龄识别算法采用Group-n的编码策略,将年龄值划分成对应的n个组(group),每个组包含若干相邻年龄,具体的方式如下:

每个年龄值对应有3个group。如年龄值0对应group 0={0},group1={0,1},和group 2={0,1,2}等3个组,从而将one-hot的标签转为多标签化。在训练过程中,将{0,1,…,100}的年龄分类或回归任务转化成多个二分类任务,即对于所有编码构建的group,以年龄值是否在该group作为二分类的目标,训练多任务(group)的年龄组预测,具体如下:

在测试过程中,为得到准确的年龄,需将预测到的group进行解码,即找到属于group中最大概率的年龄值。整体的训练和测试流程如下:

红色虚框的训练阶段,首先采用Group-n的年龄编码策略,将one-hot年龄值标签多标签化。再进行多任务的二分类group识别。蓝色虚框的测试阶段,对于预测的人脸,将预测的group进行解码,得到预测的年龄值。

近年来,随着计算机视觉、人工智能在全球范围内的飞速发展,中国企业及学术界人士在世界顶级学术会议上扮演着越来越重要的角色。京东在坚持技术驱动业务发展的今天,以实际行动向世界展现发展技术的决心。

在前不久刚刚结束的计算机视觉最具影响力的学术会议IEEE CVPR(ComputerVision and Pattern Recognition,即IEEE国际计算机视觉与模式识别会议)上,有四篇京东AI平台与研究部科学家的论文被收录,他们在计算机视觉多个课题领域均获取重要进展,CVPR其录取论文基本代表了计算机视觉领域在2018年最新和最高的科技水平以及未来发展潮流。

而这些业内最前沿的科研成果将广泛的应用在京东的业务场景中,实现技术与业务的深度融合,给予用户和伙伴更加优质的体验。

“京东希望科技不是冷冰冰的机器,而是能够让用户感受并享受有温度的科技创造的美好生活。”

>>>>

参考文献

[1]Zhang, S., Zhu, X., Lei, Z., Shi, H., Wang, X., & Li, S. Z. (2017).FaceBoxes: a CPU real-time face detector with high accuracy. arXivpreprint arXiv:1708.05234.

[2]Zhu, X., Lei, Z., Liu, X., Shi, H., & Li, S. Z. (2016). Face alignmentacross large poses: A 3d solution. In Proceedings of the IEEEConference on Computer Vision and Pattern Recognition (pp. 146-155).

[3]Tan, Z., Wan, J., Lei, Z., Zhi, R., Guo, G., & Li, S. Z. (2017). EfficientGroup-n Encoding and Decoding for Facial Age Estimation. IEEE Transactions onPattern Analysis and Machine Intelligence.

>>>>

专家介绍

石海林,现任京东集团AI平台与研究部计算机视觉与多媒体实验室资深研究员。博士毕业于中国科学院自动化研究所。主要从事模式识别和计算机视觉方面的研究工作,特别是基于深度学习的人脸识别和行人再辨识算法研究。在计算机视觉与生物特征识别顶级会议与期刊发表论文多篇,并获得过多项国际人脸识别竞赛冠亚军。

万军,中科院自动化研究所助理研究员。北京交通大学信号与信息处理专业博士, 研究领域包括模式识别、计算机视觉、机器学习领域,目前从事人脸属性分析、手势和行为识别的研究。在国际主流期刊和会议上累计发表论文达37篇。

---------------------END---------------------

原文发布于微信公众号 - 京东技术(jingdongjishu)

原文发表时间:2018-06-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

观点 | 机器学习=「新瓶装旧酒」的数据统计?No!

随着深度学习的热度开始消退,这个梗最近开始在社交媒体上广为流传,引起了互联网上众人的讥笑。机器学习没什么好激动的,它只是对统计技术的一种补充——这种观点越来越普...

791
来自专栏IT派

机器学习入门知识体系

IT派 - {技术青年圈} 持续关注互联网、大数据、人工智能领域 随着2016年Alpha Go在围棋击败李世石,2017年初卡内基梅隆大学人工智能系统Lib...

4876
来自专栏数说工作室

【分类战车SVM】第一话:开题话

分类战车SVM (第一话:开题话) 大家好,今天开始给大家介绍机器学习世界的一种新武器——支持向量机,代号为SVM。 (1)支持向量机的出身:新贵家族“模式识别...

3426
来自专栏机器之心

学界 | 超越Softmax瓶颈:一种高秩RNN语言模型

3175
来自专栏AI科技评论

大会直击|微软亚洲研究院刘铁岩:深度学习成功的秘密

9月9日,2016湖南人工智能湖南论坛在长沙举办,大会期间,来自国内外的许多顶级专家在会上给我们做了报告,下面是雷锋网根据微软亚洲研究院刘铁岩教授的现场精华整理...

3506
来自专栏机器之心

中科院「脑科学与人工智能」论坛,四场报告概要+两大研究方向解读+两项专题讨论实录

机器之心报道 编辑:夏亚妹妹、蒋思源 5 月 8 日,由中国科学院学部主办的「脑科学与人工智能」科学与技术前沿论坛召开,本论坛从脑科学如何支持人工智能的发展和类...

3098
来自专栏AI科技大本营的专栏

AI 技术讲座精选:数据科学的缺陷

业内人士都知道,数据科学有很多缺陷。 模型是未知的 建立机器学习模型的目的是为了应用,而不是理解。 能解释清楚的也只有那些最简单的模型。线性模型第一眼看起来的...

2775
来自专栏机器之心

从Pix2Code到CycleGAN:2017年深度学习重大研究进展全解读

42412
来自专栏AI科技评论

干货 | NIPS 2017录用论文先睹为快!GAIR大讲堂NIPS清华专场精彩回顾

AI科技评论按:作为机器学习和计算神经科学的国际顶级学术会议NIPS,随着近些年人工智能的发展,也变得越来越火爆。从大会官方公布的一些数据就可以看出:NIPS ...

37411
来自专栏大数据挖掘DT机器学习

机器学习知识体系

随着2016年Alpha Go在围棋击败李世石,2017年初卡内基梅隆大学人工智能系统Libratus在长达20天的鏖战中,打败4名世界顶级德州扑克玩家,这标志...

42011

扫码关注云+社区

领取腾讯云代金券