Android 人脸识别之人脸注册

作者:junerver 链接:https://www.jianshu.com/p/ca3a12bc4911

引言

人脸识别这件事想来早已经不新鲜,在 Android 中的应用也并不广泛,所以网上相关资料乏善可陈。但是在面对特殊的应用场景时,人脸识别的功能还是有一定的用处的,比如在考勤领域。

网上能搜到的很多示例比较多的是基于科大讯飞或者face++实现的,其中有一个示例做的非常漂亮,推荐大家看一看,SwFace:https://github.com/tony-Shx/Swface。该项目基于讯飞SDK实现的人脸检测,使用face++的webapi实现的人脸注册以及人脸识别。

这些示例都有一个缺点,就是不支持动态识别(可以通过一些巧妙的方法,使用户无法感知这一过程),无论讯飞的SDK还是face++的webapi都是通过拍摄上传一张图片来进行人脸识别,其中讯飞的SDK使用起来很麻烦,官方的接入文档语焉不详,但是用来做人脸检测还是不错的。

这些平台都有一个共同的缺点,就是依赖网络,所有操作都是调用云端接口,需要良好的网络环境才能实现人脸的注册与识别。这对于签到考勤这一场景(需要较快的识别速度、设备可能处于无网络状态)还是很不方便的,另外他们都是收费的。

所以本文将介绍另一个功能完备,性能还算不错的第三方开发工具,虹软中国,而且它是免费的。

鉴于本文实质是我理解人脸识别这一需求的一个思维过程,所谓文章整体会比较墨迹,干货部分我会加黑处理,大家可以选择性阅读。

该项目的地址为:https://github.com/asdfqwrasdf/ArcFaceDemo

我整理并加注释的项目地址为:https://github.com/junerver/ArcFaceDemo (clone 到本地后可以直接 import 后运行)

人脸识别的几个重要的概念

人脸识别,我们可以理解为从一个专门保存人脸特征值的数据集合中找到最匹配的一组特征值。所以在整个流程中应该包含以下几个步骤

人脸检测 (FD引擎) 即从摄像头预览中检测到人脸的存在,并且使用一个矩形框出人脸的范围。 人脸注册 即将一张图片中的人脸信息,提取出特征值,将该特征值与人员信息建立联系。 人脸识别 (FR引擎) 当检测出人脸时,对人脸进行识别,如果人脸特征集合中存在该人脸信息,读取出该人脸信息及人员信息。

人脸注册

人脸注册可以说是整个识别流程的基础,原因不言而喻,来看看官方demo是如何处理的。

PS:demo非常简单,我们不做过于详细的解释,只介绍流程。

所有人脸注册的流程都在 RegsiterActivity 文件中处理的,该页面启动的时候接受 Intent 中传来的 imagePath 信息(图片地址);

第一步: 将拍照获得的图片转为 Bitmap,然后将其转化成 NV21 格式的 Byte 数组,因为我们使用的sdk只能处理 NV21 格式的数据,NV21 格式限制高度不能为奇数;

mBitmap = Application.decodeImage(mFilePath);
//创建字节数组 大小由拍照传来的图片尺寸决定
byte[] data = new byte[mBitmap.getWidth() * mBitmap.getHeight() * 3 / 2];
try {
    //将bitmap转换成nv21,结果保存到data数组中
    ImageConverter convert = new ImageConverter();
    convert.initial(mBitmap.getWidth(), mBitmap.getHeight(), ImageConverter.CP_PAF_NV21);//此处高度不能为奇数
    if (convert.convert(mBitmap, data)) {
        Log.d(TAG, "convert ok!");
    }
    convert.destroy();
} catch (Exception e) {
    e.printStackTrace();
}

第二步: 获得 NV21 格式的图片信息数据后,我们使用sdk提供的 FD 人脸检测引擎,检测图片中的人脸信息(人脸 Rect、角度),此处的 Rect 是图片中人脸位置的矩形。

//创建FD人脸检测引擎
AFD_FSDKEngine engine = new AFD_FSDKEngine();
AFD_FSDKVersion version = new AFD_FSDKVersion();
List<AFD_FSDKFace> result = new ArrayList<AFD_FSDKFace>(); //人脸探测结果(探测引擎可以识别图片中的全部人联系信息,所以此处是一个List)
//初始化引擎
AFD_FSDKError err = engine.AFD_FSDK_InitialFaceEngine(
        FaceDB.appid, FaceDB.fd_key, AFD_FSDKEngine.AFD_OPF_0_HIGHER_EXT, 16, 300);
if (err.getCode() != AFD_FSDKError.MOK) {
    //引擎初始化失败
    Message reg = Message.obtain();
    reg.what = MSG_CODE;
    reg.arg1 = MSG_EVENT_FD_ERROR;
    reg.arg2 = err.getCode();
    mUIHandler.sendMessage(reg);
}
err = engine.AFD_FSDK_GetVersion(version);
//FD人脸探测,转化的nv21数据数组,传入图片的宽度、高度、NV21、探测结果
err  = engine.AFD_FSDK_StillImageFaceDetection(data, mBitmap.getWidth(), mBitmap.getHeight(), AFD_FSDKEngine.CP_PAF_NV21, result);

至此我们就获得了一张图片中的全部人脸数据了,他们都被保存在result这个List列表中了。 第三步: 经过上述的两部,我们已经成功的从图片中识别到了人脸,并且将该人脸在图片中的位置获取到了,接下来我们要做的就是使用 FR 人脸识别引擎识别该位置人脸中的特征信息。

if (!result.isEmpty()) {
    //探测结果不为空-存在人脸,初始化FR人脸识别引擎
    AFR_FSDKVersion version1 = new AFR_FSDKVersion();
    AFR_FSDKEngine engine1 = new AFR_FSDKEngine();
    AFR_FSDKFace result1 = new AFR_FSDKFace(); //人脸特征实例
    AFR_FSDKError error1 = engine1.AFR_FSDK_InitialEngine(FaceDB.appid, FaceDB.fr_key);
    if (error1.getCode() != AFD_FSDKError.MOK) {
        //人脸识别引擎初始化失败
        Message reg = Message.obtain();
        reg.what = MSG_CODE;
        reg.arg1 = MSG_EVENT_FR_ERROR;
        reg.arg2 = error1.getCode();
        mUIHandler.sendMessage(reg);
    }
    error1 = engine1.AFR_FSDK_GetVersion(version1);
    //提取人脸识别特征 传入值为:传入的图片(NV21转换后)、图片的宽度、高度、格式、人脸检测结果列表中取出的人脸Rect、角度、提取出的人脸特征
    error1 = engine1.AFR_FSDK_ExtractFRFeature(data, mBitmap.getWidth(), mBitmap.getHeight(), AFR_FSDKEngine.CP_PAF_NV21, new Rect(result.get(0).getRect()), result.get(0).getDegree(), result1);
    if(error1.getCode() == error1.MOK) {
        //提取出了特征
        mAFR_FSDKFace = result1.clone(); //clone提取出的人脸特征
        int width = result.get(0).getRect().width();
        int height = result.get(0).getRect().height();
        Bitmap face_bitmap = Bitmap.createBitmap(width, height, Bitmap.Config.RGB_565);//人脸位置Rect的bitmap
        Canvas face_canvas = new Canvas(face_bitmap);
        face_canvas.drawBitmap(mBitmap, result.get(0).getRect(), new Rect(0, 0, width, height), null); //将检测到的人脸位置图片提取到face_bitmap中
        Message reg = Message.obtain();
        reg.what = MSG_CODE;
        reg.arg1 = MSG_EVENT_REG;
        reg.obj = face_bitmap;
        mUIHandler.sendMessage(reg);
    } else {
        //没有提取出特征
        Message reg = Message.obtain();
        reg.what = MSG_CODE;
        reg.arg1 = MSG_EVENT_NO_FEATURE;
        mUIHandler.sendMessage(reg);
    }
    error1 = engine1.AFR_FSDK_UninitialEngine();//结束人脸识别FR引擎
} else {
    //人脸检测结果为空,图片中不存在人脸
    Message reg = Message.obtain();
    reg.what = MSG_CODE;
    reg.arg1 = MSG_EVENT_NO_FACE;
    mUIHandler.sendMessage(reg);
}
err = engine.AFD_FSDK_UninitialFaceEngine(); //结束人脸检测FD引擎

第四步: 到此我们已经获得了整个人脸注册流程中所需要的几个关键值了:

人脸位置 Rect 及该 Rect 的 Bitmap; 人脸特征信息实例 mAFR_FSDKFace; 接下来我们来将人脸特征信息与人员信息建立关联,并且将人脸特征信息保存到本地,这个数据将会用于人脸识别获取人员信息的流程。

我们先来看看官方的 Demo 是如何处理的:

if (msg.arg1 == MSG_EVENT_REG) {
    //人脸特征信息识别成功,弹出一个对话框,输入该特征的注册名字(关联的人员信息,此处根据业务需求处理)
//**********省略*********
//****关键代码****添加人脸结果 用名字作为key
((Application)RegisterActivity.this.getApplicationContext())
    .mFaceDB.addFace(mEditText.getText().toString(), mAFR_FSDKFace);
//**********省略*********
} 

获取 Application 中的 mFaceDB 对象,调用其中的 addFace 方法。FaceDb 类是 demo 中官方写的一个人脸特征管理类,其实现是文件方式实现的,当然我们可以采用其他方式来实现暂且按下不表。

//addface
public  void addFace(String name, AFR_FSDKFace face) {
    try {
        //检查全部已注册的人脸特征信息
        boolean add = true;//默认需要注册新增人员
        for (FaceRegist frface : mRegister) {
            if (frface.mName.equals(name)) {
                //存在该人员的信息,直接向其特征list中添加新的特征
                frface.mFaceList.add(face);
                add = false;
                break;
            }
        }
        if (add) { //该人员信息没有注册过
            FaceRegist frface = new FaceRegist(name); //创建一个人员人脸特征类
            frface.mFaceList.add(face);//添加一个人脸特征
            mRegister.add(frface);
        }
        //saveInfo()方法会清空原有txt文件,重新向其中添加sdk版本信息
        if (saveInfo()) {
            //update all names
            //把当前全部数据的人员名称重新添加到txt文件
            FileOutputStream fs = new FileOutputStream(mDBPath + "/face.txt", true);
            ExtOutputStream bos = new ExtOutputStream(fs);
            for (FaceRegist frface : mRegister) {
                bos.writeString(frface.mName);
            }
            bos.close();
            fs.close();
            //将人脸特征信息写入.data文件中
            fs = new FileOutputStream(mDBPath + "/" + name + ".data", true);
            bos = new ExtOutputStream(fs);
            bos.writeBytes(face.getFeatureData());
            bos.close();
            fs.close();
        }
    } catch (FileNotFoundException e) {
        e.printStackTrace();
    } catch (IOException e) {
        e.printStackTrace();
    }
}

至此人脸注册的整个流程就已经完毕了,其中有很多方法我们不必细究其实现细节,只要先了解其流程即可,毕竟我们第一步是把项目运行起来,并且能参照官方的 Demo 集成到自己项目中去。

在下一篇中,我们再来看看官方 Demo 中人脸识别是如何实现的。

原文发布于微信公众号 - 刘望舒(liuwangshuAndroid)

原文发表时间:2018-06-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏WOLFRAM

Mathematica 11.1.1 中文版已发布

1253
来自专栏企鹅号快讯

重合散点图绘制:neat

hello诸君,暖阳高照,午间一杯清茶,又到了爬虫俱乐部向大家种草新命令新方法的时候啦! 许多同学学到的第一个Stata绘图命令想必就是scatter命令,该命...

2279
来自专栏Crossin的编程教室

【每周一坑】生成九宫格图片

非常简单的功能,但在开发中很常见,很多网页/应用里缩略图都是对图片进行缩放+切割得到的。

1193
来自专栏SeanCheney的专栏

阿姆达尔定律和古斯塔夫森定律摘要背景建议使用指南更多资源

摘要 构建软件的并行版本可使应用在更短的时间内运行指定的数据集,在固定时间内运行多个数据集,或运行非线程软件禁止运行的大型数据集。 并行化的成功通常通过测量并行...

2726
来自专栏懒人开发

(7.5)James Stewart Calculus 5th Edition:Strategy for Integration

我们之前接触的,都是基础函数,也就是 elementary function 就是由我们前面说过的 三角函数,幂函数,指数函数,对数函数,有理函数等组合成的函...

1235
来自专栏新智元

【解放程序员】MIT“创世纪”机器学习新系统,自动生成补丁修复Bug

【新智元导读】当您辛辛苦苦写了大半年程序,终于要享受一下国庆长假的时候,别让 bug 把您的假期毁了。MIT 研究团队开发了一个称为“创世纪”的系统,能够对以前...

3375
来自专栏AI研习社

发掘 ARM GPU 的全部深度学习性能,TVM 优化带来高达 2 倍性能提升

本文是由来自上海交通大学 Apex 实验室的本科生 Lianmin Zheng 发表于 TVM 的一篇博客,文中阐述了如何使用 TVM 优化移动端上的 ARM...

81810
来自专栏郭耀华‘s Blog

2018年奇虎360春招笔试题--玫瑰花

这道题,第一感觉想用排列组合做,但是想了好久,没想到解决办法(刚刚考试的时候没有答出来)。后来想了一下应该使用动态规划来做。 我们首先分析一下情况: 1.当K>...

2686
来自专栏大数据智能实战

DrQA实践

2017年七月份Facebook开源了其开放域问答系统DrQA的代码。关于DrQA,还有一篇2017年发表在ACL上的论文《Reading Wikipedi...

2715
来自专栏腾讯开源的专栏

【开源公告】腾讯第三代高性能计算平台Angel 正式全面开源

Angel 项目简介 Angel是一个基于参数服务器(Parameter Server)理念开发的高性能分布式机器学习框架,在其之上,用户能轻松开发适用于高维度...

3997

扫码关注云+社区