【3D人脸】MediaPipe Face Mesh 调研

官网效果

MediaPipe Face Mesh：不够高清，case也不够丰富，暂时看不出问题。

官方AI博客

Real-Time AR Self-Expression with Machine Learning：没啥有价值的信息，但里面的gif效果不错。

官方youtube账号

MediaPipe：图例基本上面都出现过，没有特别的收获。

1. Live Perception for Mobile and Web (ECCV 16th Embedded Vision Workshop)
2. MediaPipe Overview Talk - Google Seattle 13 Feb 2020
3. MediaPipe Overview Talk - Google Berlin 11 Dec 2019

开发者博客

developers.googleblog.com：没啥用。

讨论小组

Groups.google.com：没啥用。

开源模型

官方发布的轻量级模型：都是tf格式的，很轻量级，没啥用。 Face Mesh

• Face landmark model: TFLite model, TF.js model
• Face landmark model w/ attention (aka Attention Mesh): TFLite model
• Model card, Model card (w/ attention)

官方的代码

下载地址（可直接跑）：嘴部抖动较为严重，抿嘴无法闭成一条线，贴合度一般般。

Github上的复现

Kazuhito00/mediapipe-python-sample：这是唯一有价值的复现，但是效果比官方开源的更差，甚至闭眼都闭不上。

开发社区的讨论

How to reduce the jittering of face landmarks? #825: 很多人遇到了同样的困惑，google官方开发者给出的说法是，目前（2020.06.20）只开源了非常轻量级的模型（比博文中宣布的模型更轻），抖动是符合预期的。在生产中部署模型时，他们应用低通滤波器来获得时间稳定的预测。这也是群友们试过的唯一有点作用（但也不是很有用）的trick。