【Matlab】表情合成尝试（3）——ERI伪皱纹映射

这篇是那篇论文的步骤的结尾，也是其核心，ERI(表情Expression比率Ratio图像Image)。

（参考论文

Liu, Zicheng & Shan, Ying & Zhang, Zhengyou. (2001). Expressive expression mapping with ratio images. 271-276. 10.1145/383259.383289. ）

一.思路

上一次我们做完了传统的表情映射，然后结尾说到了表情由于没有皱纹的还远远不逼真，所以这次就是要想办法把皱纹映射上去。

首先在论文中提到了表情比率图ERI这个概念，具体的推导在此略过只要记得结论：在光照条件相同的情况下每个需要得到新灰度(皱纹处的灰度)的图像I的像素可以由此图像对应的像素乘一个系数R得到。而这个系数R又可以由有皱纹的图像I’除以无皱纹的图像I得到。这个R便是比率图的比率系数。如下图：

那么我们先将无表情和有表情的两张基础人脸进行简单对齐，然后将其进行逐像素相除，就可以得到对应的比率系数矩阵R。

接着把得到的系数矩阵按照有表情的那张基础人脸相对于有表情的目标人脸进行变形对齐缩放，然后让无皱纹的目标表情人脸点乘上系数矩阵便可以得到伪皱纹的表情了。

额外的，按照论文中为了提高系数映射的效果，我们还可以提前对得到的系数矩阵进行预处理。论文中介绍的方法是计算出有表情与无表情图之间的互相关性，然后将互相关性作为权重作用在高斯过滤器上对系数矩阵进行高斯过滤，这样可以尽可能地突出皱纹部分而忽略相关性极高的非皱纹部分。

不过最后的过滤部分思路还不好，那么一步一步试试。

二.系数矩阵R

首先在论文中有提到，ERI处理的这一步最好是将图像转换为YUV图，然后单独提取其Y分量进行处理，处理完重新合成回图像中，这样对整体图像的影响也不会太大。因此，首先是图像可以通过下面的函数进行RGB和YUV的互相转化。

然后在图像转换为YUV后，我们取基础人脸的无表情和有表情两个矩阵使用fitgeotrans简单对齐后以其Y分量通过下面的点除运算得到新的比率矩阵R。这里要注意需要将矩阵转换为double型，这是因为在除法中若选择的是uint8型会对数据造成很大的损失。

然后得到的R矩阵，显示出的效果如下。可以看出图像基本上是两图的差异部分，其中颜色因为YUV图的原因也已经被去除了，整体类似于图像有"皱纹"的部分。

三.R的应用

上一步中得到了R之后，我们需要的便是将R尝试应用在我们的目标人脸上，在这里可以尝试将R直接乘在我们的无表情基础人脸上，然后很自然的，由于R是有表情与无表情的比值，所以无表情脸乘上R会变成有表情的脸，这就是我们最好的目标结果了。

要应用R在目标人脸上首先需要将两个脸进行对齐，这里我用的方法类似于上一篇传统表情映射的逆过程，只不过有一点区别。在这里我先把两个人脸的图像大小进行缩放对齐，然后使用之前的标记点方法使基础人脸进行了粗略的对齐，然后将变形应用在R矩阵上，这样可以使映射后不用去复杂地处理目标人脸的变形问题也能使皱纹尽可能地映射在恰当的地方(相比之下反而不用太在意R变形后的样子，皱纹位置的正确是最重要的)。在对齐中需要选择好使用哪些部位来作为标记点，例如可以增加脸型的标记和各个脸部部位的标记。

将变形后的R矩阵点乘到目标人脸上后，再将目标人脸缩放转化回原来的样子，在运算中可能需要用到类型转换，直接使用double()和uint8()进行转换即可，不要使用图像类型的转换，这是因为我们不是要转换图像的格式，而是要转换矩阵的数据类型而已。

下面便是简单映射后的图，显示的时候记得要转换回uint8类型，可以看到皱纹的映射还有很大的瑕疵，只能在下面的过滤阶段试着改善，令人高兴的是最关键的眉间的皱纹成功出现了。

刚才上面的做法做出来的效果挺糟糕的，由于过度变形和过多的无关皱纹导致脸上出现的波浪形花纹和右脸颊与左耳的瑕疵，还有由于明亮度在运算中出现的误差导致最终得到的色度出现了严重变化。这些问题很麻烦，我暂时也没想出更好的解决方法，先来试论文所说的高斯过滤法的权值矩阵部分。

目前的想法是对图像进行切割，将需要计算皱纹人脸进行分块，然后将每一块的坐标附近稍大一点的范围作为无皱纹人脸的矩阵范围进行提取，提取出来的矩阵来作为搜索范围与刚才的小块使用normxcorr2进行互相关计算，然后得到互相关矩阵中绝对值的最大值，将此最大值作为此块矩阵的总相关性并用其与1相减。这样便把这个矩阵最终得到的值作为此块人脸的相关性代表值，也就是权值矩阵。

权重矩阵实际上是对图像的一个重新采样，所以在采样密度大的时候就可以得到类似于原图的效果，但是因为在那样的时候很多相关的部位会由于采样过细而被忽略，并不是我们想要的样子，下面分别是70的采样和12密度的采样，可以看到除了边缘外，我们想要的眉心部分在12采样情况下被突出了。

接着把上面得到的矩阵作为高斯过滤的权值矩阵来计算，由于相关性大(权重小)的矩阵代表很可能并不是表情带来的皱纹因为已经出现过了，所以进行强力的高斯过滤模糊掉（甚至直接把那个区域转换为1使其不会影响皱纹R矩阵），而相关性较小的区域代表很可能是皱纹区域，对于那些部分就只进行较弱的高斯过滤，这样可以突出我们想要的真正的皱纹部分。最终把这样的高斯过滤对应应用在R矩阵上，就可以达成过滤了，下面是为其编写的函数，在这里我还是尝试了下分两级别来过滤。

然后得到的R矩阵我再简单地利用roipoly进行了裁剪，最终得到的R矩阵直接显示得到的是这样的(由于各种原因我没有减去其耳朵部分，所以效果不好)，但是可以看出来效果已经比一开始好了很多了。

六.后记

最后的最后，一样把处理好的R矩阵重新进行了变形，映射，恢复，得到的结果就是下面的样子了

可以看到效果比一开始好了很多很多，但是仍然有些瑕疵。其中图像中的白色是变形图像仍然没有对准的原因，本来是应该被映射在眉毛和眼珠上的。图像颜色的问题暂不知道，估计是两个人脸本来就存在的肤色差异导致的。而脸部仍有的皱纹就是处理仍然把握的不好。

那大概就是这样了，这次的东西也就是这样勉强了，又是踩了很多坑看了很多东西。累死，该开学了，大概就这样了。