Python 进行人脸校正

问题描述

在做人脸识别的时候，前期的数据处理过程中可能会遇到一个问题，即将人脸从不同尺寸的图像中截取出来，再进行“对齐”操作。这样可以使每一个截取的人脸中的眼睛等位置处于同一位置，会对后面的识别算法起到一定的优化作用。

比如，下面 3 张图片所示，人脸的位置，图像的大小各不一样。我们所需要做的就是，将人脸从各个图片中截取出来，再旋转进行校正，使得眼睛在同一位置上，最后将图片的大小也统一调整为 224 x 224。

校正的效果如下图所示：

实现步骤

整个过程遵循以下几个步骤：

找两眼间的直线距离并计算该直线与水平线之间的夹角，即倾斜角度

根据找到的倾斜角度旋转图片

在旋转后的图片中找到眼睛的位置

根据眼睛坐标找到包含面部的框的宽度和高度

调整图片的尺寸

1. 计算直线距离及倾斜角度

计算两眼之间的距离很简单，只要找出两个向量的坐标就可以计算出来。计算两眼之间的距离直线的倾斜角度，就是将两个向量相减，得到一组横纵坐标，然后利用 arctan 的公式求解角度，公式如下所示：

大多数 sin / cos 等函数要求角度为弧度，可以使用这个转换公式：angle = angle * 180 / π。

2. 根据找到的角度旋转图片

上一步骤中，求出了眼睛的倾斜角度，这一步就可以使用该角度来旋转图片了。这里方便地调用 来旋转图片。之后再计算出旋转后图片的中点。

3. 寻找旋转后眼睛的位置

图片旋转的具体原理可以查看这个链接：

4. 根据眼睛坐标找到包含面部的框的宽度和高度

找到旋转后眼睛的坐标，可以利用眼睛的坐标来框出人脸的大致范围。这里就直接看代码，从代码中比较好理解。

5. 裁剪图片

将旋转并框出的人脸进行裁剪，将其设定为统一的尺寸。

完整的代码链接：face-alignment

参考文献

[1]. Coursera - Deep Learning in Computer Vision Week 1 assignment

[2]. 图像旋转的原理，实现与优化

[3]. Rotated image cooridinates?