计算机视觉人脸相关开源项目总结

版权声明：本文为博主原创文章，转载请注明出处。 https://cloud.tencent.com/developer/article/1434833

openface

openface是一个基于深度神经网络的开源人脸识别系统。该系统基于谷歌的文章《FaceNet: A Unified Embedding for Face Recognition and Clustering》。openface是卡内基梅隆大学的 Brandon Amos主导的。

github：https://github.com/cmusatyalab/openface

OpenFace

很有意思的一个事情是，我们要介绍的第二个项目，同样叫做OpenFace，只是他的首字母都是大写的，这个项目主要在Landmark Detection，Landmark and head pose tracking，Facial Action Unit Recognition等，其中Facial Action Unit Recognition是个比较有意思的点，该项目给出一个脸部的每个AU的回归分数和分类结果。

github：https://github.com/TadasBaltrusaitis/OpenFace

face_swap

face_swap实现了一种end-to-end的自动换脸算法，基于单图换脸，C++实现所有的代码。专门准备的人脸数据集，让FCN在分割人脸时得到优异的效果。论文：《On Face Segmentation, Face Swapping, and Face Perception》。

github：https://github.com/YuvalNirkin

SeetaFaceEngine

中科院山世光老师开源的人脸识别引擎—SeetafaceEngine，主要实现下面三个功能：

SeetaFace Detection

SeetaFace Alignment

SeetaFace Identification

如何评价中科院山世光老师开源的Seetaface人脸识别引擎？

github：https://github.com/seetaface/SeetaFaceEngine

deepfakes_faceswap

相比于前面几个，deepfakes_faceswap的内容就要相对简单很多，它在训练一个CNN网络做2D的换脸，不同于faceswap，训练出来的网络只能针对于当前的两个图片，而且依赖大量数据。有意思的是，最近传的很火的神奇女侠—盖尔加朵的视频，就是这个代码做出来的，很邪恶。

github：https://github.com/joshua-wu/deepfakes_faceswap

3dmm_cnn

一个很优秀的工作，利用ResNet101从单图建模出3维人脸图像，得到不错的效果。一种基于深度学习算法的人脸3维重建方法。

论文：《Regressing Robust and Discriminative 3D Morphable Models with a very Deep Neural Network》

github：https://github.com/anhttran/3dmm_cnn

相关链接：这篇文章解释的还不错

vrn

用CNN Regression的方法解决大姿态下的三维人脸重建问题。

ICCV论文：《Large Pose 3D Face Reconstruction from a Single Image via Direct Volumetric CNN Regression》

github：https://github.com/AaronJackson/vrn

4dface

很优秀的C++工程，主要实现了以下功能，人脸检测和在2d视频中重建3维人脸。Real-time 3D face tracking and reconstruction from 2D video。

作者Huber在CppCon 2015上有一个演讲：CppCon 2015: Patrik Huber “3D Face Tracking and Reconstruction using Modern C++”

github：https://github.com/patrikhuber/4dface

face-alignment

2D-and-3D-face-alignment

两个github项目，在做同一件事，2d和3d的人脸对齐问题，区别在于前者是Pytorch 的代码，后者是Torch7的。

论文有个很霸道的名字：《How far are we from solving the 2D & 3D Face Alignment problem? (and a dataset of 230,000 3D facial landmarks) 》ICCV2017

github：https://github.com/1adrianb/face-alignment

github: https://github.com/1adrianb/2D-and-3D-face-alignment

DRML

北邮的论文：《Deep Region and Multi-label Learning for Facial Action UnitDetection》 CVPR 2016；

作者定义了自己的新的层结构做区域学习多标签检测，来提升AU检测的效果。文章对12类AU的检测进行了训练和测试，分别是AU1,AU12,AU15,AU17,AU2，AU20,AU25,AU26,AU4,AU5,AU6,AU9。

github：https://github.com/zkl20061823/DRML