改进的阴影抑制用于光照鲁棒的人脸识别

计算机视觉研究院

发布于 2019-05-15 11:14:07

1.3K0

发布于 2019-05-15 11:14:07

文章被收录于专栏：计算机视觉战队计算机视觉战队

今天我们继续人脸识别专题，这领域一直是一门火热的研究课题，那我们就继续一起学习探讨，希望大家在留言区踊跃讨论。接下来我来和大家分享光照对人脸识别的影响以及消除脸部阴影如何提高识别性能，那我们开始吧。

人脸识别的背景

由于生物特征识别和机器学习领域的巨大发展，人脸分析得到了广泛的关注。除了其科学兴趣之外，人脸分析还为商业和执法领域的各种潜在应用提供了无与伦比的优势，与其他生物特征识别技术相比，其容易获取或避免与用户明确合作。

如今，在高度约束的环境下，传统的案例已经获得了近乎完美的表现，在这种环境中，对姿势（上一期已经分享了姿势感知模型）、光照、表达和其他非同一性因素的控制是严格的。然而，由于实际情况中经常遇到的非理想成像环境，这些方法的应用范围非常有限：用户可能呈现出他们的脸但不是中性表情，或者人脸会出现意外的遮挡，比如太阳镜，甚至是从视频监视中捕捉到的图像，这些视频收集的含有所有困难，例如低分辨率图像、姿态变化、光照条件的变化等。为了在实践中适应这些挑战，学术和工业研究都将重点转移到无约束的真实场景人脸图像上。

与姿态、表情等其他干扰因素相比，光照变化对常规人脸分析算法的影响更大。如下图所示，由于许多问题，照明条件可能相当复杂：照明的强度和方向，相机传感器的过度曝光和曝光不足。不仅如此，而且已经证明，在人脸识别中，光照变化引起的差异可能比个体之间的差异更显着。因此，照明归一化对于探索照明不变方法至关重要。

上图中，可以看到同一张脸不同照明条件的案例。(a)正面照明；(b)右面发出耀眼光线的镜面高光；(c)Soft shadows及(d)hard-edged cast shadow。

新技术主要概括

开发了一种基于色度的人脸成像过程的物理解释模型，该方法以突出检测为预处理，能够将光照效应与固有的人脸反射率分离开来；
提出了一种新的色度不变图像在无阴影彩色人脸重建中的应用，而不是灰度级去光照，显示了在消除光照效果的同时恢复真实感人脸图像的潜力；
对两组不同光照变化的基准数据集进行了评价，证明了新方法可以提高性能，特别是在硬阴影上，无论是在质量上还是在数量上都是如此。

人脸识别相关工作

多年来，由于光照不变理论在人脸分析中的适用性和有效性，人们提出了大量的定性和定量研究。根据不同的理论背景，这些技术大致可分为三类：① 整体归一化方法、② 不变特征提取方法和、③ 基于三维模型的方法。

在早期的算法中，基于整体归一化的方法过去是常见的。试图用一种更规范化的表示法重新分配原始人脸图像的强度。通过应用一个简单的灰度强度调整，针对光照变化这是不太容易的。直方图均衡化(HE)和直方图匹配(HM)在直方图层次上采用了图像预处理阶段的方法。有些人提出了伽玛强度校正(GIC)，其通过引入灰度映射G(x,y)=cI(x,y)^1/γ（c为灰度拉伸参数，γ为Gamma系数）。尽管这些方法易于实现，而且对照明正常化有明显的好处，但由于它们是全局的，没有考虑到深度成像原理，因此无法进一步满足越来越严格的精度要求，这意味着它们只能对整体强度分布进行平均处理，并且很难分别处理软阴影、硬阴影或高光。

针对这种整体归一化的不足，提出了不变特征提取方法。从频域提取光照不变分量，实现基于小波去噪和对数离散余弦变换(LDCT)的主流思想。Riklin-Raviv和Shashua从LandRetinex模型及其变体出发（T. Riklin-Raviv and A. Shashua, “The quotient image: class based recognition and synthesis under varying illumination conditions,” in Computer Vision and Pattern Recognition, IEEE Computer Society Conference on., vol. 2. IEEE, 1999），将人脸图像分解为平滑的图像和光照不变特征，证明了Quotient图像(QI)，即测试图像与基于Lambertian模型的三幅原型图像的线性组合之间的比值图像是无光照的。所有这些方法在去除软阴影方面都取得了令人印象深刻的性能，但也遇到了由于鼻子周围的自遮挡而造成的硬阴影的问题。同时，这些技术不能扩展到彩色空间，限制了在现实世界中的应用。

随着三维数据采集和应用技术的不断发展，基于物理原理处理照明问题的三维模型估计成为众多研究者关注的焦点。Basri等人[15]证明了在多种光照条件下得到的凸Lambertian对象可以用9D线性子空间逼近。Blanz和Vetter[16]首先提出了三维形态模型(3DMM)，通过原型模型的线性组合来估计和综合光照条件。然后，为实现3DMM的广泛应用，构建了一个公开可用的3D Morphable Faces模型-BaselFaceModel(BFM)。Wang等人[18]提出了融合3DMM和球面调和光照表示的球面调和基形态模型(SHBMM)。与基于二维的照明方法相比，基于3D的照明方法具有更强、更精确的优点。然而，它们很容易局限于数据采集和不可避免的高计算量。甚至我们也可以妥协，只考虑2D图像，并使用3D模型对其光照进行规范化，2D和3D之间的数据配准同样也会带来不便。

总之，今天说的新方法实际上是一种整体归一化和反射率模型的融合，首次将色度不变图像引入人脸分析领域，在不使用3D先验的情况下重建无阴影彩色人脸图像。与现有的方法相比，新方法构建了一个综合的框架，将人脸成像的物理解释和实现的简单性结合起来。此外，由于所提出的方法去除了颜色空间中的阴影，因此可以与其他灰度级技术联合使用，以提高照明的归一化性能。

人脸肤色分析

反射率模型：Lambert vs Phong

尽管近年来出现了几种更全面、更精确的BRDF模型，如Oren-Nayar和Hanrahan-Krueger，但它们实际上受到计算负担的限制，在材料反射率的逆估计方面严重不适，这极大地限制了它们在一般照明正常化任务中的应用。相反，像Lambert和Phong这样的经典模型由于易于实现，仍然在这一领域占据着首要地位。作为一种常见的假设，Lambert和Phong都采用了符合Lambert余弦定律的理想哑光表面的概念，即到达物体表面任意点的入射光在所有观测方向上都是均匀扩散的。此外，Phong的模型扩展了Lambertian反射率，增加了一个只依赖于物体在每个表面点的几何信息和照明方向的镜面高光建模项。Lambertian模型和Phong模型的方程如下表示：

尽管人类的脸既不是纯反射(因为它不考虑猜测)，也不是完全凸的，简化的反射假设仍然在人脸识别研究中被广泛采用，因为人脸的皮肤大多是反射的表面。然而，基于这一假设的工作将是次优的，因为镜面高光在实际中是广泛存在的，而且由于在皮肤表面不可避免地存在油膜和半透明颗粒，因此在面部图像中不可忽视。为了解决这个问题，决定先使用Phong型模型检测每幅人脸图像上的突出区域；然后将经典的Lambertian反射率应用于非突出显示区域的肤色分析。

镜面亮点检测

正如在（A. Madooei and M. S. Drew, “Detecting specular highlights in dermatological images,” in Image Processing (ICIP), 2015 IEEE International Conference on. IEEE, 2015, pp. 4357–4360.）中所证明的，皮肤色素的密度和分布的变化，如黑色素和血红蛋白，只是放大了皮肤反射功能，即SD(x；λ)=β(X)SD(λ)。这里x表示空间坐标。此外，面部皮肤镜面斑点的表面反射光的光谱可视为等于光源照明的光谱，即SS=1，否则SS=0用于非高亮区域。考虑到这些注意事项，Phong模型中的每个组件可以分为一个消色差项(仅由几何参数决定)和一个色项(由λ参数表示)：

实现简单：为了方便起见，将分解的内部维数设为2，并通过限制k(X)的L1范数并将其L2范数统一，从而对ks(X)应用稀疏约束。如下图所示，无论光照强度和光照方向如何，新方法提出的人脸图像高亮度检测方法在不同的光照环境下都具有较好的鲁棒性。

肤色形成

在成功地将表面反射区域和身体反射区域分离后，我们的重点将是利用Lambertian反射率模型来研究主要的非突出区域的肤色形成。从概念上讲，在一个完整的图像形成场景中可能存在三个主要因素：光源照明、物体表面和成像传感器。每个因素的物理建模都是从这些因素中直接推导出最终的颜色表示。

色度不变图像

本次分享的新方法讨论并实现了基于先前导出的肤色模型的光照不变人脸图像在色度空间中的推理目标。首先回顾了色度的定义，然后研究了对数空间中色度图像的一个内在特征，从而形成了如下灰度色度不变人脸图像。

色度空间中的皮肤模型

色度性通常被认为是一种客观的颜色质量指标，而不论其亮度如何，它总是由强度归一化仿射坐标来定义，而另一种三刺激色空间，例如CIEXYZ或RGB在新方法的情况下是使用的。归一化映射主要包括两种模式：L1-归一化：C={r；g；b}={R；G；B}/(R+G+B)；几何平均归一化：C={r；g；b}={R；G；B}/√R*G*B，在这两种归一化方法中，所有颜色都被正则化为等亮度颜色，这有助于减弱强度分量的影响。

色度不变图像生成

在研究色度空间中皮肤模型的特征时，它的乘法形式和指数项都很容易引导我们进入对数处理，它能够将空间中皮肤模型公式转化，如下：

下图中的插图证明和支持了上述推论。首先，图b表明所有色度图像点都落在用细蓝线表示的法向量为u=1/√3(1；1；1)的同一平面上；然后，在原始图像中选择两个子区域来进行线性研究，因为整个图像含有过多的点供演示；图c和图d分别表示额头和鼻桥矩形中投影的2D色度像素，其中可以明显观察到两个近似平行线状的团簇。特别是选择的鼻梁区域承受更多的光照变化，而前额区域只有不变的方向照明进行比较分析。相应地，图c中的直线比图d中的直线范围小。

基于熵的照明归一化

请注意，所有2D色度图像像素被分散成线状簇，通过其相应的表面属性来区分。为了估计色度图像中不同材料的内在性质，希望进一步降低色度空间的维数。关于反射率的全局简约优先考虑可以作为一种软约束。在此假设下，在特定对象的图像中只期望少量的反射率，新方法合理地将这一假设扩展到工作中，这意味着光照归一化大大降低了人脸图像中无序的概率分布。在这条线中，寻求一个投影方向，该投影方向由角度θ确定，该投影方向应该与投影平面上形成的直线的方向完全垂直。由于同一材料的点跨不同的照明落在同一直线上，他们的二维-一维投影到一条线的角度θ将得到一个相同的值，可以字面上作为该材料的内在价值。在此二维-一维投影中，色度图像最终被转换为一维灰度图像。