前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >AVFoundation 实现人脸识别

AVFoundation 实现人脸识别

作者头像
陈雨尘
发布2021-03-02 15:14:00
2.9K0
发布2021-03-02 15:14:00
举报
文章被收录于专栏:雨尘分享

接着之前的视频采集之后今天聊下人脸识别,现在很多拍摄工具中的美颜,激萌效果等 都需要用到人脸识别。人脸识别的方案有CoreImage、 face++、OpenCV、libefacedetection、AV Foundation、vision 等,本文主要聊下AVFoundation 在视频拍摄中对人脸的捕捉。

大体流程如下

  • AVCaptureSessin 设置AVCaptureMetadataOutput 捕获元数据输出
  • 设置元数据类型为 AVMetadataObjectTypeFace
  • setMetadataObjectsDelegate 设置回调代理
  • didOutputMetadataObjects 回调中 让人脸信息传给AVCaptureVideoPreviewLayer
  • AVCaptureVideoPreviewLayer 上显示对应的人脸信息

1.AVCaptureSessin 设置AVCaptureMetadataOutput

这里要注意人脸检测要使用到硬件加速所以要放到主线程中

代码语言:javascript
复制
    // AVCaptureMetadataOutput 用于处理捕获会话AVCaptureSession产生的定时元数据的捕获输出。
    self.metadataOutput = [[AVCaptureMetadataOutput alloc]init];
    if ([self.captureSession canAddOutput:self.metadataOutput]) {
        [self.captureSession addOutput:self.metadataOutput];
        
        // 获取人脸 属性  也可以是二维码 条形码等
        NSArray *metadatObjectTypes = @[AVMetadataObjectTypeFace];
         //设置metadataObjectTypes 指定对象输出的元数据类型。
         self.metadataOutput.metadataObjectTypes = metadatObjectTypes;
           //创建主队列: 因为人脸检测用到了硬件加速,而且许多重要的任务都在主线程中执行,所以需要为这次参数指定主队列。
           dispatch_queue_t mainQueue = dispatch_get_main_queue();
           //通过设置AVCaptureVideoDataOutput的代理,就能获取捕获到一帧一帧数据
        [self.metadataOutput setMetadataObjectsDelegate:self queue:mainQueue];
  
    }

2.AVCaptureMetadataOutputObjectsDelegate 捕捉代理回调

将捕捉的人脸信息传给显示的层的layer(这里是只做人脸的一个框选,其他功能跟脸部信息有关的实现也都可在这个回调中)

代码语言:javascript
复制
- (void)captureOutput:(AVCaptureOutput *)captureOutput
didOutputMetadataObjects:(NSArray *)metadataObjects
       fromConnection:(AVCaptureConnection *)connection {

    NSLog(@"有输出的");
    //使用循环,打印人脸数据
    for (AVMetadataFaceObject *face in metadataObjects) {
        
        NSLog(@"Face detected with ID:%li",(long)face.faceID);
        NSLog(@"Face detected with rollAngle:%f",face.rollAngle);
        NSLog(@"Face detected with yawAngle:%f",face.yawAngle);
        NSLog(@"Face bounds:%@",NSStringFromCGRect(face.bounds));
        
    }
    
    //将元数据 传递给 previewView.m   将元数据转换为layer
    [self.PreView didDetectFaces:metadataObjects];

}

3.AVCaptureVideoPreviewLayer 人脸信息的渲染

这里涉及到3个点 1.人脸位置跟layer上位置的转化transformedMetadataObjectForMetadataObject:这里跟上一篇中的摄像头聚焦时候的位置转化很像 2.人脸的rollAngle 和 yawAngle 转化成对应的angle(角度) 3.这里的faceID对于同一个人并不是唯一的,但如果是一直在采集中没有出过采集框就是唯一的

代码语言:javascript
复制
- (void)didDetectFaces:(NSArray *)faces{
   //创建一个本地数组 保存转换后的人脸数据
    NSArray *transformedFaces = [self transformedFacesFromFaces:faces];
       //获取faceLayers的key,用于确定哪些人移除了视图并将对应的图层移出界面。
    /*
        支持同时识别10个人脸
     */
    NSMutableArray *lostFaces = [self.faceLayers.allKeys mutableCopy];
      //遍历每个转换的人脸对象
    for (AVMetadataFaceObject *face in transformedFaces) {
         //获取关联的faceID。这个属性唯一标识一个检测到的人脸
        NSNumber *faceID = @(face.faceID);
         //将对象从lostFaces 移除
        [lostFaces removeObject:faceID];
          //拿到当前faceID对应的layer
        CALayer *layer = self.faceLayers[faceID];
          //如果给定的faceID 没有找到对应的图层
        if (!layer) {
             //调用makeFaceLayer 创建一个新的人脸图层
            layer = [self makeFaceLayerWith:face.bounds.size];
             //将新的人脸图层添加到 overlayLayer上
            [self.overlayLayer addSublayer:layer];
              //将layer加入到字典中
            self.faceLayers[faceID] = layer;
         }
        
        //设置图层的transform属性 CATransform3DIdentity 图层默认变化 这样可以重新设置之前应用的变化
        layer.transform = CATransform3DIdentity;
          //图层的大小 = 人脸的大小
        layer.frame = face.bounds;
         //判断人脸对象是否具有有效的斜倾交。 头部向肩膀方向的侧斜角度
        if (face.hasRollAngle) {
              //如果为YES,则获取相应的CATransform3D 值
            CATransform3D t = [self transformForRollAngle:face.rollAngle];
               //将它与标识变化关联在一起,并设置transform属性
            layer.transform = CATransform3DConcat(layer.transform, t);
        }
           //判断人脸对象是否具有有效的偏转角 人脸绕y轴旋转的角度
        if (face.hasYawAngle) {
              //如果为YES,则获取相应的CATransform3D 值
            CATransform3D  t = [self transformForYawAngle:face.yawAngle];
            layer.transform = CATransform3DConcat(layer.transform, t);
            
        }
    }
    //遍历数组将剩下的人脸ID集合从上一个图层和faceLayers字典中移除
    for (NSNumber *faceID in lostFaces) {
        CALayer *layer = self.faceLayers[faceID];
        [layer removeFromSuperlayer];
        [self.faceLayers  removeObjectForKey:faceID];
    }
    
}

按照这个思路就可以看到人脸的标记了,这里要涉及到最基础的视频采集可以看上一篇 AVFoundation 视频拍摄

人脸信息拿出来之后可以做很多事情,比如人脸数据匹配,活体检测,激萌效果等等。对应代码也上传的git上 AVFoundation 人脸识别

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
人脸识别
腾讯云神图·人脸识别(Face Recognition)基于腾讯优图强大的面部分析技术,提供包括人脸检测与分析、比对、搜索、验证、五官定位、活体检测等多种功能,为开发者和企业提供高性能高可用的人脸识别服务。 可应用于在线娱乐、在线身份认证等多种应用场景,充分满足各行业客户的人脸属性识别及用户身份确认等需求。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档