前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >AI 换脸常见方法,从头细说

AI 换脸常见方法,从头细说

作者头像
AI科技评论
发布2019-09-03 11:55:17
4.6K0
发布2019-09-03 11:55:17
举报
文章被收录于专栏:AI科技评论

「AI 换脸」这几天又热起来了。AI 科技评论秉承以往的风格,从技术角度简单回顾一下近几年重要的 AI 换脸技术。

Cycle GAN

Cycle GAN 可以说是所有人脸转换尝试重要早期尝试。在对抗性生成式网络(GANs)的风潮中,大家发现只要给定源类别的样本和目标类别的样本,GANs 可以便捷地学习到两个类别之间的转换关系,就天然地适用于「图像到图像转换」问题,比如同一张风景照的冬天到夏天、一匹马到一匹斑马;Cycle GAN 核心思路在于,如果能从源转换到目标、还能从源转换回来,就可以认为模型很好地学习到了两个类别间的转换关系,也更好地保证了转换后的图像的品质。不过 Cycle GAN 的换脸效果并不怎么好,它毕竟是一个对所有类别的图像通用的方法。

论文地址:https://arxiv.org/abs/1703.10593

Face2Face

Face2Face 可以说是一次「标准的、规矩的」的尝试,它借助 dlib 和 OpenCV,首先人脸检测器检测出源图片中的人脸、找到人脸上的关键标记点,然后再使用针对人脸的 pix2pix 转换模型把关键标记点转换为目标人脸图像。也许是因为这个方法没有给深度学习留下足够的发挥空间,所以它的效果也一般般。

博客地址:https://towardsdatascience.com/face2face-a-pix2pix-demo-that-mimics-the-facial-expression-of-the-german-chancellor-b6771d65bf66

在此之后,英伟达和 UC 伯克利的研究人员们根据 pix2pix 改进出了 pix2pixHD,提升了人脸图像的生成效果,而且也依然保持了原 pix2pix 模型的多类别通用能力。论文地址:https://arxiv.org/abs/1711.11585,开源地址 https://github.com/NVIDIA/pix2pixHD。

DeepFakes

最火热、最广为流传的深度学习换脸模型无疑是 DeepFakes。出现于 2017 年底的 DeepFakes 是一个深度自动编解码器模型(Autoencoder-Decoder),通过用源人物和目标人物的几百张照片(越多越好)训练模型分别识别、还原两人面部的能力。最后用源人物的照片搭配目标人物的解码器就可以完成转换。它也对视频到视频的转换有良好支持。

DeepFakes 的缺点在于,它无法在小样本上工作,意味着无法凭一两张照片替换任意两个人的脸部;模型的训练过程也需要消耗大量资源。

DeepFakes 刚刚公开时也仅限于技术爱好者们之间交流,也并没有发布正式的论文。但一些盖尔·加朵的换脸动图一下子引爆了关注。今年年初曾经热炒的「杨幂换脸朱茵」视频也很可能是用这个方法实现的,因为 DeepFakes 中的编码器经过足够的训练后确实能够具有将任意输入人脸(比如朱茵的人脸)转换为高质量、高逼真度的目标人脸(杨幂人脸)的能力。

DeepFakes 的 GitHub 地址为 https://github.com/deepfakes/faceswap,

如今它还在持续更新升级;后来推出了还名为 FakeApp 的桌面应用程序,便于更多 TensorFlow 玩不转的小白用户尝试。雷锋网深度解析文章参见 深度解密换脸应用 Deepfake.

一张照片转换面部动作

DeepFakes 式的「把目标图像中的人脸换成另一张脸」可能未来也很难减小样本数量要求和资源要求,所以也有另一种思路,那就是给定一张人脸图像,然后根据给定的动作让图中的人「动起来」。三星莫斯科 AI 研究中心联合斯科尔科沃科学技术研究所在今年 5 月发表的一篇论文就带来了不错的结果。不仅是真人的照片,他们甚至可以让油画中的人自然地开口说话。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-09-01,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 AI科技评论 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • Cycle GAN
  • Face2Face
  • DeepFakes
  • 一张照片转换面部动作
相关产品与服务
人脸识别
腾讯云神图·人脸识别(Face Recognition)基于腾讯优图强大的面部分析技术,提供包括人脸检测与分析、比对、搜索、验证、五官定位、活体检测等多种功能,为开发者和企业提供高性能高可用的人脸识别服务。 可应用于在线娱乐、在线身份认证等多种应用场景,充分满足各行业客户的人脸属性识别及用户身份确认等需求。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档