Android人脸识别之识别人脸特征

我最近创建了一个知识星球,13天已经有近160个朋友加入。其中嘉宾有《Android群英传》系列作者徐宜生、今日头条高级工程师月亮和六便士、阿里巴巴无线技术专家辰星。加入星球可以7折购买签名版《Android进阶之光》续作。更多福利请扫描下方二维码了解。

作者:junerver 链接:https://www.jianshu.com/p/b41f64389c21

Android 人脸识别之人脸注册这篇文章中我大致的介绍了官方 Demo 中人脸注册的流程,本文我们接着来看看,在完成了人脸注册之后我们该如何识别出用户的人脸特征,从而通过人脸识别获取用户信息。

人脸识别的全部流程集成在官方 Demo 的 DetecterActivity 文件中。

还是来了解几个概念

人脸追踪 FT 年龄检测 Age 性别检测 Gender 其中人脸追踪 FT 与人脸检测 FD 功能基本一致(甚至代码基本都是相同的),Age 引擎用于识别年龄,Gender 引擎用于识别性别。

识别流程

整体上比人脸注册还要简单,官方提供了很好的封装供我们使用,我们来看看流程。

第一步: 创建两个叠加在一起的 SurfaceView,一个用于显示摄像头的预览信息,一个用于框出摄像头预览中人脸的位置;

//覆盖在相机预览之上的一层surfaceview
mGLSurfaceView = (CameraGLSurfaceView) findViewById(R.id.glsurfaceView);
mGLSurfaceView.setOnTouchListener(this);
//摄像头的surfaceview
mSurfaceView = (CameraSurfaceView) findViewById(R.id.surfaceView);
mSurfaceView.setOnCameraListener(this);
mSurfaceView.setupGLSurafceView(mGLSurfaceView, true, mCameraMirror, mCameraRotate);
mSurfaceView.debug_print_fps(true, false);

这里面出现了两个监听器,分别是View.OnTouchListener 、CameraSurfaceView.OnCameraListener,第一个监听器用于设置触摸对焦,第二个监听器就是我们实现人脸识别的最基础一步:设置、获取摄像头的数据;

该接口共有6个方法:

public interface OnCameraListener {
    /**
     * setup camera. 设置相机参数
     * @return the camera
     */
    public Camera setupCamera();
    /**
     * reset on surfaceChanged.  在Surfacechanged之后重置
     * @param format image format.
     * @param width width
     * @param height height.
     */
    public void setupChanged(int format, int width, int height);
    /**
     * start preview immediately, after surfaceCreated 
     在surfaceCreated之后是否立即开始预览
     * @return true or false.
     */
    public boolean startPreviewImmediately();
    /**
     * on ui thread. 在预览时刚方法会被调用,该方法的返回值是后两个方法的传入值
     * @param data image data
     * @param width  width
     * @param height height
     * @param format format
     * @param timestamp time stamp
     * @return image params.
     */
    public Object onPreview(byte[] data, int width, int height, 
int format, long timestamp);
    public void onBeforeRender(CameraFrameData data);
    public void onAfterRender(CameraFrameData data);
}

初始化相机

@Override
public Camera setupCamera() {
    // TODO Auto-generated method stub
    //初始化相机?
    mCamera = Camera.open(mCameraID);
    try {
        Camera.Parameters parameters = mCamera.getParameters();
        parameters.setPreviewSize(mWidth, mHeight);
        parameters.setPreviewFormat(mFormat);
        for( Camera.Size size : parameters.getSupportedPreviewSizes()) {
            Log.d(TAG, "SIZE:" + size.width + "x" + size.height);
        }
        for( Integer format : parameters.getSupportedPreviewFormats()) {
            Log.d(TAG, "FORMAT:" + format);
        }
        List<int[]> fps = parameters.getSupportedPreviewFpsRange();
        for(int[] count : fps) {
            Log.d(TAG, "T:");
            for (int data : count) {
                Log.d(TAG, "V=" + data);
            }
        }
        //parameters.setPreviewFpsRange(15000, 30000);
        //parameters.setExposureCompensation(parameters.getMaxExposureCompensation());
        //parameters.setWhiteBalance(Camera.Parameters.WHITE_BALANCE_AUTO);
        //parameters.setAntibanding(Camera.Parameters.ANTIBANDING_AUTO);
        //parmeters.setFocusMode(Camera.Parameters.FOCUS_MODE_AUTO);
        //parameters.setSceneMode(Camera.Parameters.SCENE_MODE_AUTO);
        //parameters.setColorEffect(Camera.Parameters.EFFECT_NONE);
        mCamera.setParameters(parameters);
    } catch (Exception e) {
        e.printStackTrace();
    }
    if (mCamera != null) {
        mWidth = mCamera.getParameters().getPreviewSize().width;
        mHeight = mCamera.getParameters().getPreviewSize().height;
    }
    return mCamera;
}

摄像头开始预览时:

@Override
public Object onPreview(byte[] data, int width, int height, int format, long timestamp) {
    //获取摄像头的帧数据,该数据为NV21格式 byte数组
    //调用FT人脸追踪引擎的人脸特征查明方法,结果保存到List<AFT_FSDKFace> result
    AFT_FSDKError err = engine.AFT_FSDK_FaceFeatureDetect(data, width, height, 
    AFT_FSDKEngine.CP_PAF_NV21, result);
    Log.d(TAG, "AFT_FSDK_FaceFeatureDetect =" + err.getCode());
    Log.d(TAG, "Face=" + result.size());
    for (AFT_FSDKFace face : result) {
        Log.d(TAG, "Face:" + face.toString());
    }
    if (mImageNV21 == null) {
        if (!result.isEmpty()) {
            //追踪到人脸数据,取出当前追踪的人脸,取出当前帧的NV21数据(用于人脸识别)
            mAFT_FSDKFace = result.get(0).clone();
            mImageNV21 = data.clone();
        } else {
            if (!isPostted) {
                                //隐藏人脸信息的提示
                mHandler.removeCallbacks(hide);
                mHandler.postDelayed(hide, 2000);
                isPostted = true;
            }
        }
    }
    //copy rects  取出人脸追踪的Rect
    Rect[] rects = new Rect[result.size()];
    for (int i = 0; i < result.size(); i++) {
        rects[i] = new Rect(result.get(i).getRect());
    }
    //clear result.清空原来的人脸追踪结果List
    result.clear();
    //return the rects for render.
    return rects;
}

渲染之后调用:

@Override
    public void onAfterRender(CameraFrameData data) {
        //在该surfaceview上画方块,这里的data就是上一个方法中的返回值 return rects;
        mGLSurfaceView.getGLES2Render().draw_rect((Rect[])data.getParams(), 
        Color.GREEN, 2);
    }

第二步: 使用 FR 人脸识别引擎识别人脸信息,如果你已经浏览了上一步的代码,你会发现这一行关键代码:

if (!result.isEmpty()) {
            //追踪到人脸数据,取出当前追踪的人脸,取出当前帧的NV21数据(用于人脸识别)
            mAFT_FSDKFace = result.get(0).clone();
            mImageNV21 = data.clone();
        } 

当 FT 人脸追踪引擎识别出人脸信息时,我们将当前帧的人脸信息集合放在 mAFT_FSDKFace 当前帧的 NV21 格式 byte 数组放在 mImageNV21 中,有了长两个关键数据,联系我们的上一篇文章你大概知道我们可以用他们来做什么了吧? 上次我们已经介绍过 AFR_FSDK_ExtractFRFeature 特征提取接口,我们就不再赘述了。

流程是这样的 提取图片中的人脸 → 与我们已经注册过得特征集合进行特征匹配 → 匹配程度最高的作为最终识别结果

这一过程是放在一个子线程中运行的,代码如下:

//人脸识别线程
class FRAbsLoop extends AbsLoop {
    AFR_FSDKVersion version = new AFR_FSDKVersion();
    AFR_FSDKEngine engine = new AFR_FSDKEngine(); //人脸识别引擎
    AFR_FSDKFace result = new AFR_FSDKFace(); //人脸特征
    //全部已经保存的人脸特征集合
    List<FaceDB.FaceRegist> mResgist = ((Application)DetecterActivity.this.getApplicationContext()).mFaceDB.mRegister;
    List<ASAE_FSDKFace> face1 = new ArrayList<>();//年龄识别结果
    List<ASGE_FSDKFace> face2 = new ArrayList<>();//性别识别结果
    @Override
    public void setup() {
        AFR_FSDKError error = engine.AFR_FSDK_InitialEngine(FaceDB.appid, FaceDB.fr_key);   //初始化人脸识别引擎
        Log.d(TAG, "AFR_FSDK_InitialEngine = " + error.getCode());
        error = engine.AFR_FSDK_GetVersion(version);
        Log.d(TAG, "FR=" + version.toString() + "," + error.getCode()); //(210, 178 - 478, 446), degree = 1 780, 2208 - 1942, 3370
    }
    @Override
    public void loop() {
        //当人脸追踪FT引擎获取到人脸后,该数据不为null
        if (mImageNV21 != null) {
            final int rotate = mCameraRotate;
            long time = System.currentTimeMillis();
            //FR引擎人脸特征提取
            AFR_FSDKError error = engine.AFR_FSDK_ExtractFRFeature(mImageNV21, mWidth, mHeight, AFR_FSDKEngine.CP_PAF_NV21, mAFT_FSDKFace.getRect(), mAFT_FSDKFace.getDegree(), result);
            Log.d(TAG, "AFR_FSDK_ExtractFRFeature cost :" + (System.currentTimeMillis() - time) + "ms");
            Log.d(TAG, "Face=" + result.getFeatureData()[0] + "," + result.getFeatureData()[1] + "," + result.getFeatureData()[2] + "," + error.getCode());
            //特征匹配结果实例
            AFR_FSDKMatching score = new AFR_FSDKMatching();
            float max = 0.0f;
            String name = null;
            for (FaceDB.FaceRegist fr : mResgist) {
                for (AFR_FSDKFace face : fr.mFaceList) {
                    //FT人脸追踪提取出的特征、for循环取出的系统中保存的特征、特征匹配结果
                    error = engine.AFR_FSDK_FacePairMatching(result, face, score);
                    Log.d(TAG,  "Score:" + score.getScore() + ", AFR_FSDK_FacePairMatching=" + error.getCode());
                    if (max < score.getScore()) {
                        max = score.getScore();
                        name = fr.mName;
                    } //从整个集合中取出最大匹配结果与姓名
                }
            }
            //age & gender
            face1.clear();
            face2.clear();
            face1.add(new ASAE_FSDKFace(mAFT_FSDKFace.getRect(), mAFT_FSDKFace.getDegree()));
            face2.add(new ASGE_FSDKFace(mAFT_FSDKFace.getRect(), mAFT_FSDKFace.getDegree()));
            ASAE_FSDKError error1 = mAgeEngine.ASAE_FSDK_AgeEstimation_Image(mImageNV21, mWidth, mHeight, AFT_FSDKEngine.CP_PAF_NV21, face1, ages);
            ASGE_FSDKError error2 = mGenderEngine.ASGE_FSDK_GenderEstimation_Image(mImageNV21, mWidth, mHeight, AFT_FSDKEngine.CP_PAF_NV21, face2, genders);
            Log.d(TAG, "ASAE_FSDK_AgeEstimation_Image:" + error1.getCode() + ",ASGE_FSDK_GenderEstimation_Image:" + error2.getCode());
            Log.d(TAG, "age:" + ages.get(0).getAge() + ",gender:" + genders.get(0).getGender());
            final String age = ages.get(0).getAge() == 0 ? "年龄未知" : ages.get(0).getAge() + "岁";
            final String gender = genders.get(0).getGender() == -1 ? "性别未知" : (genders.get(0).getGender() == 0 ? "男" : "女");
            //crop  截取该人脸信息
            byte[] data = mImageNV21;
            YuvImage yuv = new YuvImage(data, ImageFormat.NV21, mWidth, mHeight, null);
            ExtByteArrayOutputStream ops = new ExtByteArrayOutputStream();
            //传入要截取的Rect范围
            yuv.compressToJpeg(mAFT_FSDKFace.getRect(), 80, ops);
            final Bitmap bmp = BitmapFactory.decodeByteArray(ops.getByteArray(), 0, ops.getByteArray().length);
            try {
                ops.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
            if (max > 0.6f) {
                //fr success.置信度大于0.6
                final float max_score = max;
                Log.d(TAG, "fit Score:" + max + ", NAME:" + name);
                final String mNameShow = name;
                mHandler.removeCallbacks(hide);
                mHandler.post(new Runnable() {
                    @Override
                    public void run() {
                        mTextView.setAlpha(1.0f);
                        mTextView.setText(mNameShow);
                        mTextView.setTextColor(Color.RED);
                        mTextView1.setVisibility(View.VISIBLE);
                        mTextView1.setText("置信度:" + (float)((int)(max_score * 1000)) / 1000.0);
                        mTextView1.setTextColor(Color.RED);
                        mImageView.setRotation(rotate);
                        if (mCameraMirror) {
                            mImageView.setScaleY(-1);
                        }
                        mImageView.setImageAlpha(255);
                        mImageView.setImageBitmap(bmp);
                    }
                });
            } else {
                final String mNameShow = "未识别";
                DetecterActivity.this.runOnUiThread(new Runnable() {
                    @Override
                    public void run() {
                        mTextView.setAlpha(1.0f);
                        mTextView1.setVisibility(View.VISIBLE);
                        mTextView1.setText( gender + "," + age);
                        mTextView1.setTextColor(Color.RED);
                        mTextView.setText(mNameShow);
                        mTextView.setTextColor(Color.RED);
                        mImageView.setImageAlpha(255);
                        mImageView.setRotation(rotate);
                        if (mCameraMirror) {
                            mImageView.setScaleY(-1);
                        }
                        mImageView.setImageBitmap(bmp);
                    }
                });
            }
            mImageNV21 = null;
        }
    }
    @Override
    public void over() {
        AFR_FSDKError error = engine.AFR_FSDK_UninitialEngine();
        Log.d(TAG, "AFR_FSDK_UninitialEngine : " + error.getCode());
    }
}

这段代码还是很简单的,关键部分我都已经加了注释,相比大家看了也都能理解。

这里在废话几句:FD与FT引擎功能大致相同,完成的都是从一个 NV21 格式的图片 byte 数组中检测识别出人脸的位置 Rect 与角度信息。在获得这个信息后,我们调用FR人脸识别引擎识别出特征值信息,然后使用AFR_FSDK_FacePairMatching特征值匹配方法,一一的与我们程序中原来存储的人脸特征进行匹配,取出其中匹配值最高的那组特征值,获取该特征值的注册名。

到这里整个人脸识别的流程我们就都已经清晰的掌握了,如果没有看明白,就下载我加过注释的源码,再仔细看看代码是如何实现的。

本文有可能是这次文章的最后一篇了,但我标题上写的是中,下一片文章可能会介绍下我在实际使用虹软人脸识别 SDK 中遇到的问题以及解决方法(目前还没投入到项目中使用)。如果没有遇到问题的话,本文就此全文终。

原文发布于微信公众号 - 刘望舒(liuwangshuAndroid)

原文发表时间:2018-06-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

1 条评论
登录 后参与评论

相关文章

来自专栏hbbliyong

WPF文字修饰——上、中、下划线与基线

       我们知道,文字的修饰包括:空心字、立体字、划线字、阴影字、加粗、倾斜等。这里只说划线字的修饰方式,按划线的位置,我们可将之分为:上划线、中划线、基...

2585
来自专栏企鹅号快讯

新手不知道的,前端关于html5入门学习顺序

现在html5移动端非常的火,很多小伙伴想学习又不知道从哪开端学起,今天就分享一下前html5该怎么入门。 ? 首先还是给大家推荐一个学习氛围很好的裙,我自己的...

3736
来自专栏進无尽的文章

动画| 金币抛入红包动画详解

这个动画效果很早就出来了,也是一个比较经典的关键帧动画和组合动画的运用,通过剖析源码,可以发现实际上这个酷炫的动画实现起来很简单。

1385
来自专栏前端那些事

理解标准盒模型和怪异模式&box-sizing属性

盒子模型 主要有两种,w3c标准盒模型,IE下的怪异盒模型,其实还有就是弹性盒模型(上篇文章我们用他很好的解决了对齐问题)

620
来自专栏用户2442861的专栏

关于CSS中background样式的repeat和no-repeat的坐标问题

http://blog.sina.com.cn/s/blog_98eef7830101cv8t.html

441
来自专栏前端那些事

理解标准盒模型和怪异模式&box-sizing属性

盒子模型 主要有两种,w3c标准盒模型,IE下的怪异盒模型,其实还有就是弹性盒模型(上篇文章我们用他很好的解决了对齐问题) DTD规范 盒模型分为:标准w3c盒...

2006
来自专栏欧阳大哥的轮子

路径布局-基于数学函数的视图布局方法

路径布局MyPathLayout是MyLayout布局体系中的第7种布局体系,在这种布局体系中您只需要提供一个坐标轴、一个曲线函数、以及视图之间的距离这三个要素...

552
来自专栏前端侠2.0

通过CSS,实现元素反转 原

      今天突然看到ES6还有Reflect 概念,我怎么以前没注意过,赶快去CANIUSE上查一下吧,却意外看到CSS Reflections,竟然可以有...

551
来自专栏菩提树下的杨过

“AS3.0高级动画编程”学习:第四章 寻路(AStar/A星/A*)算法 (下)

在前一部分的最后,我们给出了一个寻路的示例,在大多数情况下,运行还算良好,但是有一个小问题,如下图: ? 很明显,障碍物已经把路堵死了,但是小球仍然穿过对角线跑...

1859
来自专栏前端新视界

使用 SVG 和 JS 创建一个由星形变心形的动画

序言:首先,这是一篇学习 SVG 及 JS 动画不可多得的优秀文章。我非常喜欢 Ana Tudor 写的教程。在她的教程中有大量使用 SVG 制作的图解以及实...

4315

扫码关注云+社区