Face Recognition From Sequential Sparse 3D Data via Deep……

论文链接：https://arxiv.org/pdf/1810.09658.pdf

TL;DR

通过多个稀疏点云pair的配准，将稀疏的人脸点云转换成一个稠密的人脸点云，然后投影生一个2D的深度图，对人脸深度图做识别，识别部分的PipeLine和目前的2D人脸识别一致。

Details

PipeLine:

image.png

887x319 117 KB

网络分成两部分：DRNet和FRNet，其中DRNet部分做点云配准。对于多个连续的稀疏的人脸点云，存在一个变换使得任意pair之间可以相互变换，DRNet部分主要用于回归出变换矩阵的参数，为了用conv2d做回归，DRNet的输入将点云做了2D的投影。回归的目标如下：

变换的细节如下：

其中P1是source如上图的Frame5，P1’是通过回归的参数变换得到的预测结果，P2是target如上图的frame6，其中q是变换参数，回归的目标使得参数和groundtruth的参数loss最小（qg可以通过计算生成）。DRNet的输出做插值，得到一个dense的点云，投影得到depth-map，对2D的depth-map做识别，最后用embedding去做K-means聚类，检验embedding的效果是否好。

Experiments

Thoughts

给深度图的人脸识别任务提供了一种pipeline，不过从depth map到point cloud再到depth map流程有点复杂。