JDAI-Face | 新型人脸属性识别系统技术解析

人可以轻易理解所看到的视觉信息，但将同样的能力赋予计算机，并让其代替人类来进行类脑思考，是人工智能学术界、产业界争相研究的科学课题。人脸作为最重要的生物特征，蕴含了大量的属性信息，如性别、种族、年龄、表情、颜值等，而如何对这些属性信息进行预测，则是人脸分析领域的研究热点之一。

现有的人脸属性识别方法主要是针对单一任务，如限制于年龄估计、性别识别等某一单项任务预测。对于多个属性的识别算法，现有单任务的人脸属性算法很难扩展至多任务的属性识别。若同时对于单一任务进行集成，则算法复杂度和耗时则会大大增加，不利于系统的部署。因此，设计多任务的人脸属性算法，同时预测出人脸的多个属性，并开发出相应的多任务人脸属性识别实时系统，仍然是研究的难点。

京东AI研究院目前推出一种新型的人脸属性识别系统——JDAI-Face，在实时多任务人脸属性识别上取得重大进展。经过大量研究投入，该人脸属性识别系统通过采用深度学习卷积神经网络进行分类或回归的方式、模型基于多任务学习，使得不同属性之间可辅助进行预测，实现实时人脸属性预测。

该系统在零售行业具有丰富的应用场景，如可在智能信息屏幕终端实时识别用户画像，从而更加精准的进行广告或商品推荐；通过智能摄像头识别进店用户属性，进行目标顾客群体分析；还可以结合各种创意方式应用于用户营销互动，给用户留下深刻的印象。

在京东618启动大会上，现场与观众进行互动，效果图如下：

根据人脸属性分析可知，现场的男女性别比例大概是6：4，年龄分布主要集中在18-30岁之间的青年，颜值较高的参会人员比例较大。从这些属性的分布情况，再基于人脸属性值信息，匹配预先设定好的业务内容，就可精准的进行广告或商品推荐，与用户产生良性互动。

>>>>

京东人脸属性识别系统主要流程

该系统首先检测图片中的人脸，对于检测到的每张人脸，识别各项人脸属性，包括性别、种族、年龄、笑脸、颜值等信息，主要流程包括人脸检测，关键点定位，人脸校正和属性识别四个部分。

人脸检测。检测图片上是否出现人脸，它的位置及大小。京东AI平台与研究部基于深度学习的人脸检测算法采用多个网络分支进行多尺度的人脸检测，从而融合了多层的信息，使得保证高精度的前提下，实现快速实时的人脸检测。

同时，为使得深度网络可检测到尺度更小的人脸，通过采用anchor（锚点）密度均衡化策略[1]，并对同一层的anchor数量不均衡性做了处理，进一步提升了人脸检测的性能。具体效果如图：

关键点定位。在检测到人脸之后，算法继续确定出鼻子、眼睛、嘴巴等位置以及人脸轮廓，实现人脸关键点（landmark）的定位。京东AI平台与研究部的人脸关键点定位采用25-106个关键点回归算法[2]，设计专门的网络架构并根据关键点的输出与真实值不断调整回归的参数。针对姿态较大的人脸，采用3D拟合算法，生成出相应地大姿态训练集，使得整体算法对于大姿态的人脸关键点定位更为鲁棒，并据此设计出半自动人脸关键点标注算法。训练得到的模型可精确确定出鼻子，嘴巴，眼睛，眉毛，轮廓等位置。效果示意图如下：

人脸对齐。根据预测的关键点位置和模板关键点的位置，进行2D的仿射变换，以达到人脸对齐的目的。下图显示，对齐之后的人脸眼睛已在水平线上，可直接用于人脸属性识别。

人脸属性的识别。用户感兴趣的人脸属性包含很多，比如人脸的年龄、性别、表情、种族、胡子，及是否佩戴饰品等等类型。该阶段通常采用深度学习卷积神经网络进行分类或回归，模型基于多任务学习，使得不同属性之间可辅助进行预测[3]。

上图展示了识别的5种主要属性值，包括性别、种族、年龄、笑脸值和颜值。对于种族识别（亚洲黄种人，白种人，黑种人），性别识别（男，女）采用Softmax损失函数进行训练，对于笑脸值识别和颜值识别，将这两个属性的标签设置在0-100之间，进行回归预测。而对于年龄识别，现有算法较多，京东人脸年龄识别算法采用Group-n的编码策略，将年龄值划分成对应的n个组（group），每个组包含若干相邻年龄，具体的方式如下：

每个年龄值对应有3个group。如年龄值0对应group 0={0}，group1={0,1}，和group 2={0,1,2}等3个组，从而将one-hot的标签转为多标签化。在训练过程中，将{0,1,…,100}的年龄分类或回归任务转化成多个二分类任务，即对于所有编码构建的group，以年龄值是否在该group作为二分类的目标，训练多任务（group）的年龄组预测，具体如下：

在测试过程中，为得到准确的年龄，需将预测到的group进行解码，即找到属于group中最大概率的年龄值。整体的训练和测试流程如下：

红色虚框的训练阶段，首先采用Group-n的年龄编码策略，将one-hot年龄值标签多标签化。再进行多任务的二分类group识别。蓝色虚框的测试阶段，对于预测的人脸，将预测的group进行解码，得到预测的年龄值。

近年来，随着计算机视觉、人工智能在全球范围内的飞速发展，中国企业及学术界人士在世界顶级学术会议上扮演着越来越重要的角色。京东在坚持技术驱动业务发展的今天，以实际行动向世界展现发展技术的决心。

在前不久刚刚结束的计算机视觉最具影响力的学术会议IEEE CVPR(ComputerVision and Pattern Recognition，即IEEE国际计算机视觉与模式识别会议)上，有四篇京东AI平台与研究部科学家的论文被收录，他们在计算机视觉多个课题领域均获取重要进展，CVPR其录取论文基本代表了计算机视觉领域在2018年最新和最高的科技水平以及未来发展潮流。

而这些业内最前沿的科研成果将广泛的应用在京东的业务场景中，实现技术与业务的深度融合，给予用户和伙伴更加优质的体验。

“京东希望科技不是冷冰冰的机器，而是能够让用户感受并享受有温度的科技创造的美好生活。”

>>>>

参考文献

[1]Zhang, S., Zhu, X., Lei, Z., Shi, H., Wang, X., & Li, S. Z. (2017).FaceBoxes: a CPU real-time face detector with high accuracy. arXivpreprint arXiv:1708.05234.

[2]Zhu, X., Lei, Z., Liu, X., Shi, H., & Li, S. Z. (2016). Face alignmentacross large poses: A 3d solution. In Proceedings of the IEEEConference on Computer Vision and Pattern Recognition (pp. 146-155).

[3]Tan, Z., Wan, J., Lei, Z., Zhi, R., Guo, G., & Li, S. Z. (2017). EfficientGroup-n Encoding and Decoding for Facial Age Estimation. IEEE Transactions onPattern Analysis and Machine Intelligence.

>>>>

专家介绍

石海林，现任京东集团AI平台与研究部计算机视觉与多媒体实验室资深研究员。博士毕业于中国科学院自动化研究所。主要从事模式识别和计算机视觉方面的研究工作，特别是基于深度学习的人脸识别和行人再辨识算法研究。在计算机视觉与生物特征识别顶级会议与期刊发表论文多篇，并获得过多项国际人脸识别竞赛冠亚军。

万军，中科院自动化研究所助理研究员。北京交通大学信号与信息处理专业博士, 研究领域包括模式识别、计算机视觉、机器学习领域，目前从事人脸属性分析、手势和行为识别的研究。在国际主流期刊和会议上累计发表论文达37篇。

---------------------END---------------------