问将人脸识别与人体姿态估计相结合

EN

我想创建的应用程序，将能够估计人体姿势和识别他们的脸。问题是，据我所知，这些任务中的每一个都必须由不同类型的网络执行，因为我没有合适的数据集或编写这种网络的能力。在最坏的情况下，我必须为不同的网络使用最多4个: 1)网络来估计人类的位置，就像这样：https://github.com/michalfaber/keras_Realtime_Multi-Person_Pose_Estimation。这样的网络的输出例如是每个被检测的人19点。

2)用于人脸检测的网络，用于预测图像上的人脸位置。我知道我可以使用之前描述的人体姿态估计的点来做出有根据的猜测，但我认为这将是非常不精确的。示例网络：https://github.com/kpzhang93/MTCNN_face_detection_alignment

3)将从点2检测到的人脸输入到预测人脸着陆标记的网络中，以获得人脸的详细位置。示例网络：https://www.learnopencv.com/facemark-facial-landmark-detection-using-opencv/

4)最后，从点2)检测到的人脸将像这样输入到人脸识别网络中：https://machinelearningmastery.com/how-to-perform-face-recognition-with-vggface2-convolutional-neural-network-in-keras/

使用这4个网络，我想象它是这样工作的：

1)估计人体姿态，得到头部坐标

2)检测人脸边界框

3)这些边界框用于获取面部地标的详细坐标。使用这些地标坐标，我可以找到这张脸属于哪个人体姿势估计。

4)最后，经过匹配的人脸和人体姿势估计，我可以识别这张脸并获得他们的名字。

我的问题是，这是4个不同的网络！假设我很幸运，他们中的每一个都只需要1秒来运行预测，那么可能需要3-4秒来执行完整的分析。除了编写自己的网络(祝你好运)并在新的数据集上进行训练之外，还有更好、更快的方法吗？