【每周CV论文推荐】换脸算法都有哪些经典的思路？

欢迎来到《每周CV论文推荐》。在这个专栏里，还是本着有三AI一贯的原则，专注于让大家能够系统性完成学习，所以我们推荐的文章也必定是同一主题的。

人脸伪造/换脸算法目前在一定程度上已经达到了以假乱真的效果，这个课题的研究也是由来已久，本次我们来介绍其中的几种重要思路。

作者&编辑 | 言有三

1 基于3D模型和光流的方法

早期的换脸算法其实不是我们这里要说的换脸算法，而应该称之为面部表情迁移算法，其中基于多张图像/视频序列的方法非常流行，以华盛顿大学的Suwajanakorn等人的研究为代表，主要是基于3D模型和稠密光流变换，我们公众号4年前有过简单的解读，可以参考三维人脸重建入门。

文章引用量：40+

推荐指数：✦✦✦✦✧

[1] Suwajanakorn S, Seitz S M, Kemelmacher-Shlizerman I. What makes tom hanks look like tom hanks[C]//Proceedings of the IEEE International Conference on Computer Vision. 2015: 3952-3960.

[2] Thies J, Zollhofer M, Stamminger M, et al. Face2face: Real-time face capture and reenactment of rgb videos[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 2387-2395.

2 基于形状拟合的算法

基于形状拟合的方法是最直观的换脸算法，即检测到的关键点然后计算两个人脸形状之间的变形，再添加图像融合等后处理技术，目前在天天P图等应用中的换脸算法如此。

[3] https://github.com/hrastnik/FaceSwap

3 基于风格迁移的算法

换脸算法保留了被换脸的表情，姿态，形状，同时使用了新脸的纹理，要实现的就是纹理的迁移，这可以使用已经较为成熟的风格迁移算法。

文章引用量：60+

推荐指数：✦✦✦✦✧

[4] Korshunova I, Shi W, Dambre J, et al. Fast face-swap using convolutional neural networks[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 3677-3685.

4 基于图像翻译的算法

换脸算法是一个人脸到人脸的图像翻译问题，所以Pix2Pix，CycleGAN等模型自然可以直接被应用，在添加了人脸掩膜，姿态，光照等信息的监督下可以获得非常逼真的换脸结果。

推荐指数：✦✦✦✦✦

[5] Jin X, Qi Y, Wu S. Cyclegan face-off[J]. arXiv preprint arXiv:1712.03451, 2017.

5 基于自编解码模型的算法

GAN等生成模型已经被广泛应用于人脸的编辑，我们在上期文章中给大家做过不少的相关介绍，可以参考【杂谈】GAN对人脸图像算法产生了哪些影响？。

当前最流行的Deepfakes就是在使用同样的编码器的约束下，分别训练A图像和B图像的编解码器。使用时将A的特征输入解码器B从而实现换脸，感兴趣的可以参考开源代码[7]进行尝试。

推荐指数：✦✦✦✦✦

[6] Korshunov P, Marcel S. Deepfakes: a new threat to face recognition? assessment and detection[J]. arXiv preprint arXiv:1812.08685, 2018.

[7] https://github.com/deepfakes/faceswap

6 如何获取文章与交流

找到有三AI开源项目即可获取。

https://github.com/longpeng2008/yousan.ai

文章细节众多，相关的人脸数据集在以及论文阅读交流在有三AI知识星球中进行，感兴趣可以加入。

总结

本次我们简单介绍了换脸的几种思路，随着条件GAN等生成式模型的发展，编辑后的人脸精度越来越高，技术虽好，不要使坏噢。