专栏首页智能算法人脸识别应用之“变脸”

人脸识别应用之“变脸”

“照片分享”是社交场景中比重很大的一部分,当然现在来看视频(特别是短视频)也变得越来越多,而照片又以人像为主,所以我们看到如QQ空间、微博、微信朋友圈里,自拍、合影占据着大量的版面。人脸相关的应用也越来越多:如相机中嵌入人脸检测,拍照时实时将人脸标注出来;又比如一些相册应用,能根据人脸识别进行照片分类;再比如支付宝的扫脸登录,将人脸作为个人身份ID。

这些应用都以人脸检测、人脸识别技术为基础,检测指将人脸定位出来,找到人脸所在位置,而识别则是匹配出这个人脸是谁,不过通常我们将这两项技术统称为人脸识别。随着深度学习的应用,人脸识别的准确度得到了较大提升,也涌现出了一批相关的初创企业,典型的如旷视科技的Face++,识别准确度一直处于世界前列,产品合作也很多,应用广泛。

“变脸”应用也是以人脸识别为基础,通过对照片中的人脸进行一些操作(如形变、替换等),从而达到趣味性的照片效果,总体上有如下几类:

一、效果分类

1、人脸拉伸形变

如图,拉伸形变效果相当于在照片上盖一个不规则的透镜,使得一些部位放大,一些部位缩小,或部位发生位移。技术上则是通过像素坐标的重映射来实现。

2、人脸贴图、部位替换

这类效果现在在很多app上都有应用,如美图秀秀、in、Snapchat等,在定位到人脸后,在某些位置贴图,从而形成趣味效果,特别是实时视频,贴图跟随人脸,甚至会有增强现实的体验。

3、人脸交换

人脸交换主要应用在合影上,先定位照片中的两个人脸,然后交换,并做一定的图像融合,使人脸与身体良好衔接。

4、动物、卡通、名画脸部交换

这种也是人脸的替换,只是替换目标是动物脸部或卡通、画作中的人脸。

5、人脸动画

这类应用可以看作是人脸形变与贴图的结合,并且是动态的,有着较强的视觉表现力。

二、Demo实现

前段时间研究了一下人脸替换的实现,并完成了一个简单的demo,效果如下:

即将中间图片的人脸替换到左边画作上的人脸,右边图像是替换结果,可以看出融合度还算不错。算法总体上可分为人脸检测、关键点定位、透视变换、区域提取、色彩转换、边缘融合等步骤。

1、人脸检测

人脸检测即在图像上定位出人脸所在区域,本demo采用DLib库进行人脸检测,代码如下:

dlib::frontal_face_detector detector = dlib::get_frontal_face_detector();dlib::cv_image<dlib::rgb_pixel> img = cvImg;std::vector<dlib::rectangle> faces = detector(img);

可以看到检测结果faces是矩形框(dlib::rectangle)数组,这是因为一张图里面可能有多个人脸。

2、关键点定位

在检测到人脸所在矩形框后,还需要进一步定位人脸关键特征所在位置,如眼睛、鼻子等,常称为Landmark,DLib库提供了68点Landmark检测功能:

dlib::shape_predictor sp;// 读入特征库
dlib::deserialize(LandMarksModelFile) >> sp;// 取第一张人脸
dlib::full_object_detection shape = sp(img, faces[0]);for (size_t i = 0; i < shape.num_parts(); i++) {
    dlib::point pt = shape.part(i);
    landmarks.push_back(pt);
}

这68个landmark是按顺序存放人脸各部位的坐标:

{
    IdxRange jaw;       // [0 , 16]
    IdxRange rightBrow; // [17, 21]
    IdxRange leftBrow;  // [22, 26]
    IdxRange nose;      // [27, 35]
    IdxRange rightEye;  // [36, 41]
    IdxRange leftEye;   // [42, 47]
    IdxRange mouth;     // [48, 59]
    IdxRange mouth2;    // [60, 67]
}

3、透视变换

为了方便处理,本demo采用平面单应矩阵H来描述人脸之间的对应关系,即把人脸作为一个平面来处理位置变换:

// 根据landmark估计两个人脸间的单应变换
cv::Mat H = cv::findHomography(face1.landMarks, face2.landMarks);// 对整个图像应用单应变换cv::warpPerspective(im1, warpIm1, H, im2.size());

变换结果如下图,可以看到变换后的人脸与名画中的人脸姿态接近。

4、区域提取

实际上我们只替换人脸,准确地说是五官部分,而人脸外的部分,如头发、脖子,都需要过滤掉,因此,区域提取的目的就是找到只包含五官部分的mask,本demo先对landmark进行高斯模糊扩大区域,然后二值化:

int blurAmount = 5;cv::Mat maskBlur;cv::GaussianBlur(histMask, maskBlur, cv::Size(blurAmount, blurAmount), 0);cv::threshold(maskBlur, histMask, 0, 255, CV_THRESH_BINARY);

5、色彩转换

色彩转换的目的是使当前人脸与要被替换的人脸色彩相近,方法有很多,有兴趣的可以搜索关键字“color transfer”,本demo采用直方图调整的方式来做,实现起来相对简单:先计算当前图像和目标图像的颜色直方图,然后调整当前图像的直方图与目标图像的一致,最后将调整后的直方图应用到当前图像。转换结果(只转换步骤4提取的区域部分):

6、边缘融合

步骤5的色彩转换后,两个人脸已经比较接近,但如果直接贴过去,边缘上仍会有一些突兀,本demo应用拉普拉斯金字塔融合方法,使边缘更连贯,具体可参考 拉普拉斯图像融合

三、一些链接

Face2Face: Real-time Face Capture and Reenactment of RGB Videos

CVPR引起巨大争议的新技术Face2Face

Switching Eds: Face swapping with Python, dlib, and OpenCV

https://github.com/mc-jesus/FaceSwap

声明:本文系网络转载,版权归原作者所有。如涉及版权,请联系删除!

本文分享自微信公众号 - 智能算法(AI_Algorithm)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2016-11-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【315 AI技术追踪】人脸识别一夜躺枪?支付宝、商汤、云从等回应

    【新智元导读】 2017年的“315”落下帷幕,人脸识别技术公司纷纷躺枪。16日一大早,大家纷纷发表声明,表示自家的人脸识别技术还是相当安全的。本文整理了各家的...

    新智元
  • 中科视拓获千万pre-A轮融资,想做的不仅仅是人脸识别

    安妮 发自 北京柏悦 量子位 出品 | 公众号 QbitAI 有点晚。 作为一家通用计算机视觉识别公司,中科视拓起步确实晚了点。 往前看看,有11年成立的Fac...

    量子位
  • 【重磅】吴恩达率百度大脑完胜“最强大脑”王峰,AI技术解密

    【新智元导读】人工智能又一次战胜了人类!这次是在《最强大脑》。吴恩达率队的百度人工智能在人脸识别跨年龄识别任务中以 3:2 的比分惊险击败《最强大脑》名人堂轮值...

    新智元
  • 谷歌大脑与Open AI合著论文:机器视觉的一个致命缺陷

    【新智元导读】计算机视觉很厉害,但是,只要稍加修改,比如使用美图软件加一个滤镜,计算机视觉就错误频出。MIT报道把这一缺陷称为计算机视觉的“阿喀琉斯之踵”,认为...

    新智元
  • 【干货】深度人脸识别的 Caffe 实现(附模型开源地址及论文下载)

    【新智元导读】本论文对人脸识别和验证任务提出一种新的损失函数,即中心损失。中心损失和softmax损失联合监督学习的CNN,其对深层学习特征的人脸识别能力大大提...

    新智元
  • 还有什么能挡住人工智能的监视?戴上帽子蒙住脸,AI一样能认出你

    陈桦 编译自 QZ 量子位 出品 | 公众号 QbitAI ? 蒙着脸就没人能认出你了? Naïve!帽子围巾墨镜,全都挡不住AI。 人工智能带来的监控能力,超...

    量子位
  • “假脸”也能解锁手机怎么办?基于DNN的反欺骗机制

    AiTechYun 编辑:xiaoshan.xiang ? 想象一下,只需要用你的脸对准摄像头,不需要指纹扫描或触摸,就能解锁手机。它只会在没有任何用户干预的情...

    AiTechYun
  • 【重磅】AI 首次在德州扑克战胜人类职业玩家,新算法让机器拥有“直觉”(附论文)

    【新智元导读】 2017年刚开年,人机大战激战正酣:从围棋上孤独求败的 Master 到人脸识别的小度,现在,国外科学家宣布,机器已经在一对一的无限注德州扑克中...

    新智元
  • 小米新机背后的人脸识别解锁供应商,被我们找到了

    李根 发自 融科资讯 量子位 报道 | 公众号 QbitAI ? △ 小米911发布会 雷军说,这是小米年度最重要的发布会。 9月11日,苹果新一代iPhon...

    量子位
  • AI人才有多贵?年薪三五十万美元起步,高校教授大量投身工业界

    李杉 编译自 NYTimes 量子位 出品 | 公众号 QbitAI ? 本来,在招揽人才这件事上,硅谷创业公司比行业巨头更有优势:给我们一次机会,我们会给你股...

    量子位

扫码关注云+社区

领取腾讯云代金券