Android 人脸识别之人脸注册

作者:junerver 链接:https://www.jianshu.com/p/ca3a12bc4911

引言

人脸识别这件事想来早已经不新鲜,在 Android 中的应用也并不广泛,所以网上相关资料乏善可陈。但是在面对特殊的应用场景时,人脸识别的功能还是有一定的用处的,比如在考勤领域。

网上能搜到的很多示例比较多的是基于科大讯飞或者face++实现的,其中有一个示例做的非常漂亮,推荐大家看一看,SwFace:https://github.com/tony-Shx/Swface。该项目基于讯飞SDK实现的人脸检测,使用face++的webapi实现的人脸注册以及人脸识别。

这些示例都有一个缺点,就是不支持动态识别(可以通过一些巧妙的方法,使用户无法感知这一过程),无论讯飞的SDK还是face++的webapi都是通过拍摄上传一张图片来进行人脸识别,其中讯飞的SDK使用起来很麻烦,官方的接入文档语焉不详,但是用来做人脸检测还是不错的。

这些平台都有一个共同的缺点,就是依赖网络,所有操作都是调用云端接口,需要良好的网络环境才能实现人脸的注册与识别。这对于签到考勤这一场景(需要较快的识别速度、设备可能处于无网络状态)还是很不方便的,另外他们都是收费的。

所以本文将介绍另一个功能完备,性能还算不错的第三方开发工具,虹软中国,而且它是免费的。

鉴于本文实质是我理解人脸识别这一需求的一个思维过程,所谓文章整体会比较墨迹,干货部分我会加黑处理,大家可以选择性阅读。

该项目的地址为:https://github.com/asdfqwrasdf/ArcFaceDemo

我整理并加注释的项目地址为:https://github.com/junerver/ArcFaceDemo (clone 到本地后可以直接 import 后运行)

人脸识别的几个重要的概念

人脸识别,我们可以理解为从一个专门保存人脸特征值的数据集合中找到最匹配的一组特征值。所以在整个流程中应该包含以下几个步骤

人脸检测 (FD引擎) 即从摄像头预览中检测到人脸的存在,并且使用一个矩形框出人脸的范围。 人脸注册 即将一张图片中的人脸信息,提取出特征值,将该特征值与人员信息建立联系。 人脸识别 (FR引擎) 当检测出人脸时,对人脸进行识别,如果人脸特征集合中存在该人脸信息,读取出该人脸信息及人员信息。

人脸注册

人脸注册可以说是整个识别流程的基础,原因不言而喻,来看看官方demo是如何处理的。

PS:demo非常简单,我们不做过于详细的解释,只介绍流程。

所有人脸注册的流程都在 RegsiterActivity 文件中处理的,该页面启动的时候接受 Intent 中传来的 imagePath 信息(图片地址);

第一步: 将拍照获得的图片转为 Bitmap,然后将其转化成 NV21 格式的 Byte 数组,因为我们使用的sdk只能处理 NV21 格式的数据,NV21 格式限制高度不能为奇数;

mBitmap = Application.decodeImage(mFilePath);
//创建字节数组 大小由拍照传来的图片尺寸决定
byte[] data = new byte[mBitmap.getWidth() * mBitmap.getHeight() * 3 / 2];
try {
    //将bitmap转换成nv21,结果保存到data数组中
    ImageConverter convert = new ImageConverter();
    convert.initial(mBitmap.getWidth(), mBitmap.getHeight(), ImageConverter.CP_PAF_NV21);//此处高度不能为奇数
    if (convert.convert(mBitmap, data)) {
        Log.d(TAG, "convert ok!");
    }
    convert.destroy();
} catch (Exception e) {
    e.printStackTrace();
}

第二步: 获得 NV21 格式的图片信息数据后,我们使用sdk提供的 FD 人脸检测引擎,检测图片中的人脸信息(人脸 Rect、角度),此处的 Rect 是图片中人脸位置的矩形。

//创建FD人脸检测引擎
AFD_FSDKEngine engine = new AFD_FSDKEngine();
AFD_FSDKVersion version = new AFD_FSDKVersion();
List<AFD_FSDKFace> result = new ArrayList<AFD_FSDKFace>(); //人脸探测结果(探测引擎可以识别图片中的全部人联系信息,所以此处是一个List)
//初始化引擎
AFD_FSDKError err = engine.AFD_FSDK_InitialFaceEngine(
        FaceDB.appid, FaceDB.fd_key, AFD_FSDKEngine.AFD_OPF_0_HIGHER_EXT, 16, 300);
if (err.getCode() != AFD_FSDKError.MOK) {
    //引擎初始化失败
    Message reg = Message.obtain();
    reg.what = MSG_CODE;
    reg.arg1 = MSG_EVENT_FD_ERROR;
    reg.arg2 = err.getCode();
    mUIHandler.sendMessage(reg);
}
err = engine.AFD_FSDK_GetVersion(version);
//FD人脸探测,转化的nv21数据数组,传入图片的宽度、高度、NV21、探测结果
err  = engine.AFD_FSDK_StillImageFaceDetection(data, mBitmap.getWidth(), mBitmap.getHeight(), AFD_FSDKEngine.CP_PAF_NV21, result);

至此我们就获得了一张图片中的全部人脸数据了,他们都被保存在result这个List列表中了。 第三步: 经过上述的两部,我们已经成功的从图片中识别到了人脸,并且将该人脸在图片中的位置获取到了,接下来我们要做的就是使用 FR 人脸识别引擎识别该位置人脸中的特征信息。

if (!result.isEmpty()) {
    //探测结果不为空-存在人脸,初始化FR人脸识别引擎
    AFR_FSDKVersion version1 = new AFR_FSDKVersion();
    AFR_FSDKEngine engine1 = new AFR_FSDKEngine();
    AFR_FSDKFace result1 = new AFR_FSDKFace(); //人脸特征实例
    AFR_FSDKError error1 = engine1.AFR_FSDK_InitialEngine(FaceDB.appid, FaceDB.fr_key);
    if (error1.getCode() != AFD_FSDKError.MOK) {
        //人脸识别引擎初始化失败
        Message reg = Message.obtain();
        reg.what = MSG_CODE;
        reg.arg1 = MSG_EVENT_FR_ERROR;
        reg.arg2 = error1.getCode();
        mUIHandler.sendMessage(reg);
    }
    error1 = engine1.AFR_FSDK_GetVersion(version1);
    //提取人脸识别特征 传入值为:传入的图片(NV21转换后)、图片的宽度、高度、格式、人脸检测结果列表中取出的人脸Rect、角度、提取出的人脸特征
    error1 = engine1.AFR_FSDK_ExtractFRFeature(data, mBitmap.getWidth(), mBitmap.getHeight(), AFR_FSDKEngine.CP_PAF_NV21, new Rect(result.get(0).getRect()), result.get(0).getDegree(), result1);
    if(error1.getCode() == error1.MOK) {
        //提取出了特征
        mAFR_FSDKFace = result1.clone(); //clone提取出的人脸特征
        int width = result.get(0).getRect().width();
        int height = result.get(0).getRect().height();
        Bitmap face_bitmap = Bitmap.createBitmap(width, height, Bitmap.Config.RGB_565);//人脸位置Rect的bitmap
        Canvas face_canvas = new Canvas(face_bitmap);
        face_canvas.drawBitmap(mBitmap, result.get(0).getRect(), new Rect(0, 0, width, height), null); //将检测到的人脸位置图片提取到face_bitmap中
        Message reg = Message.obtain();
        reg.what = MSG_CODE;
        reg.arg1 = MSG_EVENT_REG;
        reg.obj = face_bitmap;
        mUIHandler.sendMessage(reg);
    } else {
        //没有提取出特征
        Message reg = Message.obtain();
        reg.what = MSG_CODE;
        reg.arg1 = MSG_EVENT_NO_FEATURE;
        mUIHandler.sendMessage(reg);
    }
    error1 = engine1.AFR_FSDK_UninitialEngine();//结束人脸识别FR引擎
} else {
    //人脸检测结果为空,图片中不存在人脸
    Message reg = Message.obtain();
    reg.what = MSG_CODE;
    reg.arg1 = MSG_EVENT_NO_FACE;
    mUIHandler.sendMessage(reg);
}
err = engine.AFD_FSDK_UninitialFaceEngine(); //结束人脸检测FD引擎

第四步: 到此我们已经获得了整个人脸注册流程中所需要的几个关键值了:

人脸位置 Rect 及该 Rect 的 Bitmap; 人脸特征信息实例 mAFR_FSDKFace; 接下来我们来将人脸特征信息与人员信息建立关联,并且将人脸特征信息保存到本地,这个数据将会用于人脸识别获取人员信息的流程。

我们先来看看官方的 Demo 是如何处理的:

if (msg.arg1 == MSG_EVENT_REG) {
    //人脸特征信息识别成功,弹出一个对话框,输入该特征的注册名字(关联的人员信息,此处根据业务需求处理)
//**********省略*********
//****关键代码****添加人脸结果 用名字作为key
((Application)RegisterActivity.this.getApplicationContext())
    .mFaceDB.addFace(mEditText.getText().toString(), mAFR_FSDKFace);
//**********省略*********
} 

获取 Application 中的 mFaceDB 对象,调用其中的 addFace 方法。FaceDb 类是 demo 中官方写的一个人脸特征管理类,其实现是文件方式实现的,当然我们可以采用其他方式来实现暂且按下不表。

//addface
public  void addFace(String name, AFR_FSDKFace face) {
    try {
        //检查全部已注册的人脸特征信息
        boolean add = true;//默认需要注册新增人员
        for (FaceRegist frface : mRegister) {
            if (frface.mName.equals(name)) {
                //存在该人员的信息,直接向其特征list中添加新的特征
                frface.mFaceList.add(face);
                add = false;
                break;
            }
        }
        if (add) { //该人员信息没有注册过
            FaceRegist frface = new FaceRegist(name); //创建一个人员人脸特征类
            frface.mFaceList.add(face);//添加一个人脸特征
            mRegister.add(frface);
        }
        //saveInfo()方法会清空原有txt文件,重新向其中添加sdk版本信息
        if (saveInfo()) {
            //update all names
            //把当前全部数据的人员名称重新添加到txt文件
            FileOutputStream fs = new FileOutputStream(mDBPath + "/face.txt", true);
            ExtOutputStream bos = new ExtOutputStream(fs);
            for (FaceRegist frface : mRegister) {
                bos.writeString(frface.mName);
            }
            bos.close();
            fs.close();
            //将人脸特征信息写入.data文件中
            fs = new FileOutputStream(mDBPath + "/" + name + ".data", true);
            bos = new ExtOutputStream(fs);
            bos.writeBytes(face.getFeatureData());
            bos.close();
            fs.close();
        }
    } catch (FileNotFoundException e) {
        e.printStackTrace();
    } catch (IOException e) {
        e.printStackTrace();
    }
}

至此人脸注册的整个流程就已经完毕了,其中有很多方法我们不必细究其实现细节,只要先了解其流程即可,毕竟我们第一步是把项目运行起来,并且能参照官方的 Demo 集成到自己项目中去。

在下一篇中,我们再来看看官方 Demo 中人脸识别是如何实现的。

原文发布于微信公众号 - 刘望舒(liuwangshuAndroid)

原文发表时间:2018-06-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏一心无二用,本人只专注于基础图像算法的实现与优化。

13行代码实现最快速最高效的积分图像算法。

  研究图像到一定程度的人,应该都对积分图像有所了解,大家在百度或者google中都可以搜索到大量的相关博客,我这里不做多介绍。用积分图也确实能解决很多实际的问...

2948
来自专栏大数据挖掘DT机器学习

Python NLTK自然语言处理:词干、词形与MaxMatch算法

CSDN:白马负金羁 自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。自然语言工具箱(NLTK,Natural Language Toolkit)...

4175
来自专栏郭诗雅的专栏

动感光波发射!Unity AR开发之 3d 物体识别小记

在 vuforia 官网中,不仅可以识别图片,还可以识别几何体,特别是从 vuforia4.x 开始支持识别更不规则的3d物体。本文将详细介绍如何在 Unity...

7252
来自专栏数据结构与算法

洛谷P1829 [国家集训队]Crash的数字表格 / JZPTAB(莫比乌斯反演)

今天的数学课上,Crash小朋友学习了最小公倍数(Least Common Multiple)。对于两个正整数a和b,LCM(a, b)表示能同时整除a和b的最...

911
来自专栏编程

R 语言绘制热图的 10 种方法

说在前面 此前我们已经推送了不少深入解读的文章,今天希望做一点新的尝试——介绍 R 语言绘图。这一期分享 R 语言绘制热图的案例,希望大家通过案例感受 R 语言...

2.1K38
来自专栏大数据挖掘DT机器学习

Python+Hadoop 从DBLP数据库中挖掘经常一起写作的合作者

任务描述: 本文的写作目的是从DBLP数据库中找到经常一起写作的合作者。熟悉数据挖掘中频繁项挖掘的经典算法(FP-Growth)并作出改进和优化。实验代码...

3315
来自专栏刁寿钧的专栏

10分钟梳理关系数据库基础知识(五):查询优化与连接算法

本文是《十分钟入门关系型数据库》系列技术文章的第五篇,主要介绍了数据库的查询优化和连接的算法与代价。

3320
来自专栏AI研习社

Github 项目推荐 | PyTorch 文本工具库/数据集

PyTorch-NLP,简称 torchnlp,是一个神经网络层、文本处理模块和数据集库,旨在加速自然语言处理的研究。

1142
来自专栏新工科课程建设探讨——以能源与动力工程专业为例

3.1.3 绘制三维Contour图的思路

2007年秋,开始接触数值计算,看到Contour图形,我觉得很神奇,很好看。强烈的好奇心驱使下,零零碎碎看了相关文献,都看不懂。大约2009年深秋,我读到的最...

800
来自专栏Python中文社区

利用人工智能实现小程序自动答题

之前有看到有人用python实现自动运行微信小程序《跳一跳》,后来看到别人用hash码实现《加减大师》的自动答题领取娃娃,最近一直在研究深度学习,为啥不用机器学...

1742

扫码关注云+社区