44. Light Stage: 无限真实的人脸三维扫描——忘记幼稚的AI换脸吧
44. Light Stage: 无限真实的人脸三维扫描——忘记幼稚的AI换脸吧
一、迟到五年的谍战片
你知道最近新出了一部谍战片《胜算》吗？
《胜算》海报，图片来源[5]
这片子主演是柳云龙，据说耽搁了五年才上映，片子的背景很宏大，引用下网上的介绍：
作为中国谍战戏开山鼻祖，柳云龙此前凭借编导演三位一体的《风筝》，以及《暗算》引领了中国谍战片风潮，但也造就了中国谍战片的巅峰，特别是《风筝》，让后来的剧集很难超越。
而耗费经年打造的《胜算》这部戏，在谍战环境上更是扩大到了以二战为背景的世界范围，在主创团队上更是中俄韩日四国创作团队，柳云龙为这部戏可谓下了很大的心血。可惜，在拍摄完毕后碰上了限韩令，因为女主蔡梦的饰演者是韩国女演员韩彩英，《胜算》不得已进行了长达5年的修改、补拍，以及漫长的等待。
-- [5]谍战教父新剧《胜算》来袭 换脸删减影响剧情成为遗憾
其实平时工作很忙，也没有太多时间看电视剧，家里老人倒是看得津津有味。但这片子有一点大大吸引了我——据说创作团队竟然采用了AI换脸技术！
女主角原本是韩国影星韩彩英：
但是后来赶上了限韩令，剧组不得不换用了身材与脸型跟韩彩英有些接近的苏青救场。
从背影和走路姿态看得出，身体仍然是韩彩英的，而正脸已经通过AI换脸技术替换成了苏青，就是那个《延禧攻略》中演喜塔腊·尔晴的美女。
《胜算》苏青饰演蔡小姐，图像来源[6]
这我就感兴趣了，这是我第一次看到”AI换脸“在国内影视作品中这么严肃的应用~ 于是我就还真专门找了几集来看看，这里面换脸到底有没有破绽。
你还别说，虽然据说很多时候是在绿幕前无实物表演，也有很多人看了第一集后觉得表演比较生硬，但总体来说看了一阵后还是逐渐就习惯了女主那苏青的脸、韩彩英的身体。但我曾经研究过一阵Deepfake，特别是刚过去不久Kaggle上的Deep fake detection比赛我也简单的看了些资料，所以还是比较容易的看到了一些破绽 。脸部轮廓比例什么的，我就不说了。我就提一个特别的，如果你也在看这片子，看看你注意到没有。
比如优酷片源第4集，29分01秒左右，这里场景中应该有一个录音设备一直在转动，使得男主的脸部的光线不断的变化，但就在这同样的场景，女主坐在男主的对面，脸上却一点光影变化都没有
柳云龙脸上的光影变换 ，动图截取自[6]
同一场景，苏青脸上的没有光影变换，动图截取自[6]
还有在很多场景，男主脸上会有明显的影棚的灯光设备造成的高光、阴影，但女主虽然戴着大檐帽，脸上却一点帽檐导致的阴影和高光都没有。比如，下面这张截图（第3集，36分38秒），注意她手上拿的枪上明显有顶棚光形成的高光，但脸上却一点阴影都没有。
苏青脸上光影和枪上的不一致，截取自[6]
而同一个场景，37分37秒处，应该是没有换脸（观察侧脸形，可以看出。同时搞过Deepfake的朋友应该知道这种角度换脸几乎很难成功），此时就能看到原始拍摄时，女主脸上的阴影和高光。
这个场景应该没有换脸，依然是韩彩英的侧脸，截取自[6]
而且，在人物特写时，其他演员脸上的细节纤毫毕现，但女主脸上就像做过数字平滑一样，一点细节纹理都没有（当然也许是化妆化得好，也许是真的做了磨皮，但据我了解对脸部做平滑处理也是AI换脸时去除破绽的一种手段）
福源长官的脸上纤毫毕现 ，截取自[6]
同一场景，苏青的脸上毫无纹理 ，截取自[6]
我得特别声明一下，《胜算》中哪些场景是让苏青小姐实拍的，哪些是换脸的，我其实并不清楚，只是查到网上的信息说很多正脸场面、特别是和其他演员在一起的场面，是绿幕拍摄后AI换脸的，所以文章中截取了一部分这样的画面。如果猜错了，坐等制作团队打脸?
无论如何，类似的例子应该还有很多，我就不一一列举了。事实上，要想真的做出天衣无缝的人脸合成结果，有很多困难的地方，其中至少包括了：
- 高精度的人脸皮肤纹理合成
- 皮肤的光反射要能够匹配各种环境光线的变化
虽然利用包括GAN技术在内的多种手段，AI换脸已经取得了很大的成功，甚至已经引起了很大的争议，但是要真的做到天衣无缝，这种纯机器学习的手段显然还不够。
但我今天将要介绍的技术，可能会惊掉你的下巴，因为用它生成的数字虚拟角色，即使是最最专业最最苛刻的批评者，也无法区分是真实还是虚幻。
二. 真实 vs. 虚幻
我们先来看两个视频，看看你能否分清哪边是真实的演员，哪边是虚拟的？
真假Emily, 源自[7]，我做了裁切和拼接，猜猜哪个是真的？
你猜出来了吗？我先卖个关子，继续往下谈，不过你猜不出来也是很正常的，这是我从南加州大学创意技术研究所和Image Metrics联合在SIGGRAPH 2008发布的Digital Emily展示视频中截取的。事实上，当初这个视频刚放出来时，著名的VFXWorld的专栏作家Peter Plantec这样评论到：
"It is absolutely awesome -- amazing. I'm one of the toughest critics of face capture, and even I have to admit, these guys have nailed it. This is the first virtual human animated sequence that completely bypasses all my subconscious warnings. I get the feeling of Emily as a person. All the subtlety is there. This is no hype job, it's the real thing ... I officially pronounce that Image Metrics has finally built a bridge across the Uncanny Valley and brought us to the other side."
“这绝对太棒了--太棒了。我是面部捕捉最严厉的批评者之一，就连我也不得不承认，这些家伙都做到了。这是第一个完全绕过我所有潜意识警告的虚拟人类动画序列。我感觉到了艾米丽作为一个人的感觉。所有的细微之处都在那里。这不是炒作，这是真的……我正式宣布，Image Metrics终于架起了一座横跨诡异山谷的桥梁，把我们带到了另一边。”
-Peter Plantec, VFXWorld, August 07, 2008
我们不得不说，虽然现在Deepfake这样的AI 换脸技术很火，但如果要将它严肃的用于游戏、电影电视等荧幕作品时，这样的技术还面临着很多瓶颈，不仅非常容易被像Peter Plantec这样的专业人士看出破绽，普通人其实也比较容易看出不自然的地方。真实的虚拟人脸合成，不仅仅需要有非常准确的动作捕捉和动作驱动，还需要在各种光照环境下，人物脸上、身上的反光、阴影要能能够非常自然的反映场景的变化。
那么，Digital Emily项目到底是如何做到让最专业的人士也认可的呢？这就要从Google的高级科学家Paul Debevec，以及他在的著名研究项目Light Stage谈起了。
Debevec现在是Google VR的高级科学家，也是(University Of Southern California)的研究教授，也是南加州大学创意技术研究所(Institute For Creative Technologies)图形研究的副主任， 他在基于图像的建模和高真实感的渲染方面做出了大量杰出的贡献。
我们这里谈到的第一代的Light Stage的研究成果，发表于SIGGRAPH 2000:
3.1 Light Stage 1
在这个研究中，Debevec的团队想要解决的问题是：如何在固定视角采集人脸的反射场，然后在光照和视角发生变化时，对脸部进行逼真的合成渲染，从而生成新的人脸图像。
我们先来看两段Light Stage1技术的展示视频，你可以清楚的看到，当环境光改变时，计算机合成的人脸、各种瓶子上会明显的出现光影的变化。
还能够渲染出在点光源和自然光下各种角度的人脸：
图像采集
用于采集的设备被Debevec团队称作Light Stage（灯光舞台），它由包括1个光源、2个摆在左右两侧的相机、1个投影仪构成。相机离人的距离大概是3米。
在整个采集过程中，首先会像你现在看到这样，让光源在机械悬臂的带动下绕着被拍摄的人物转动。如果把光源近似看做在一个球表面运动，那么我们可以把人脸看做球心，而在拍摄过程中，在机械臂的带动下，光源则不断改变其经度和纬度。经过精心的控制，可以确保在一个大概1分钟的采集过程中，经度方向有64个采集点，而维度方向则有32个采集点，这样单个相机会采集到64x32=2048张各种光源位置下的人脸图像。
下图是右摄像头拍摄的5个样张，下方图中白点代表了光源的位置。
5中光源下拍摄的人像，源自[2]
光的加性
作者要做的第一步，是对固定视角的图像，模拟出不同环境光照的效果。为了搞懂这一点，我们先来看看光照的一个特性。
先看这幅图，你觉得左边这张图和右边两张图的关系是什么？
光照的加性，源自[1]
你可能猜对了，它们之间有明显的加性原则：
光照的加性，源自[1]
对输入图像赋以不同的权重，可以实现不同的合成图像
这个过程可以由下图来表述，这里我们把图像表示为一维列向量，共n个像素，一共有两个光照下的子图像，通过权重l加权合成到一起。
光照的加性，源自[1]
那么，如果一共有m个不同的光源照射形成不同的子图像，那么最终合成的图像就可以表示为。这里面，T就代表了不同光照下的子图像形成的矩阵，有时将它称为光传输矩阵，而l则是每个子图像的贡献权重。
光照的加性，源自[1], T被称作光传输矩阵
反射场
我们定义通过方位角，倾角入射的光照形成的子图像是L，反射函数定义为：
它代表在像素(x,y)处观察到的光线，并用子图像 L在像素(x,y)位置的值来表示。
通过Light Stage采集的图像，对人脸上的每个像素都可以得到它的反射函数图（每个像素处都有一个64x32小图像，代表不同光照图像在此处的值的集合）
反射函数，源自[3]
如果对整个脸部抽样15x44个位置观察反射函数，可以看到这样一幅图：
反射函数，源自[2]
合成图像
因为前面讲过光照的加性原则，我们又定义了反射函数，那么合成图像中任意一个像素点的值就可以表示为，这里面
表示特定入射角的入射光线强度，用
进一步表示它与物体的交角。
这个过程可以图示为
根据上述原理，就很容易的营造各种光照条件下的合成图像：
改变视角
现在已经能够模拟任意的光照了，现在的问题是如何在任意的观测视角，模拟任意的光照，即类似这样的效果：
这里最关键的第一个洞见则是光是一种横波（图片来自https://3lian.com/edu/2012/09-08/36320.html），横波有一个特性，就是它的振动是有极性的。在与传播方向垂直的平面上，它可以向任一方向振动。我们一般把光波电场振动方向作为光振动方向。如果一束光线都在同一方向上振动，我们就称它们是偏振光，或严格一点，称为完全偏振光。一般的自然光在各个方向振动是均匀分布的，是非偏振光。
光是横波，源自[10]
但我们可以通过偏振片，来阻挡某些振动方向的光，从而将这束光改造为完全偏振光，或部分偏振光。
第二个洞见是，光入射到皮肤的不同深度，会产生不同的反射——浅层的只会是镜面反射，而进入较深后会导致漫反射。镜面反射会保持入射光的偏振方向，而漫反射则会随机的改变偏振方向。
入射光照射皮肤时的不同反射状态，源自[2]
因此，如果巧妙的在光源处和相机处分别布置不同方向的偏振片，可以分离反射中的镜面反射光和漫反射光。
光反射实验, 源自[2]
如图所示，(a)是自然点光源照射人脸的图像，(b)是在光源处摆放纵向偏振片，在相机处摆放横向偏振片后的结果，根据上面的描述，这就去掉了保持极性的镜面反射光（以及恰好和原振动方向一致的漫反射），只留下了一半漫反射的光线。(c)是在光源处和相机处都摆放纵向偏振片。这样相当于让镜面反射光以及一半的漫反射光通过。(d)是(c)-(b)的结果，这样就只留下了镜面反射光。比较有意思的是，镜面反射光只达到皮肤的表面，没有皮下血管及组织的影响，因此可以看到是无色的。
分离漫反射和镜面反射，源自[2]
因此，可以在Light Stage的采集过程中就做这样的分离，这样就可以获取到镜面反射场和漫反射场，而进一步则可以利用漫反射场获取到物体的表面法向量。在新的视角，可以利用这些信息，合成新的反射场。
在新的视角下合成反射函数，源自[3]
这里因为要使用到新的视角下的皮肤表面几何信息，所以在Light Stage的采集过程的第二阶段，就是用投影仪发出条纹结构光，从而利用两个相机的信息重建出人脸的三维信息，用于最终的合成。下图展示了演员Jessica Vallot的重建结果。图(a)是Light Stage左相机在某个入射光照下拍摄的照片，(b)是重建的漫反射表面法向量, (c)和(d)是分离的漫反射光和镜面反射光。(e)是结构光重建的人脸三维模型 . (f)是合成的新的视角下点光源照射的人脸， (g)和(h)则是合成的复杂环境光的光照结果。
在新的视角下合成人脸，源自[2]
至此，Light Stage1实现了作者的两个预设目标：
- 模拟任意光照的结果
- 在任意的视角下合成光照
3.2 实用化的Light Stage
Light Stage技术一发布就吸引了大量的注意，但这个团队并未止步，他们不断的改进Light Stage，发布了一代又一代Light Stage系统，最新的已经到了Light Stage X。我要特别提到的是Light Stage2和Light Stage5这两代系统。前者代表了这项技术第一次进入实用化，而后者则是一个高度成熟的系统，在大量的好莱坞电影制作时被采用。
Light Stage 2
第一代Light Stage只有一个光源，采集一次要1分钟，在这个过程中演员一直要保持静止，那是相当的累。所以团队首先要解决的就是采集速度问题。他们的方案很简单，就是用30个光源均匀分布在机械臂上。这样机械臂旋转一圈，并在旋转过程中开启、关闭特定的光源即可完成采集，这样就只需要4秒即可完成对反射场的采集。作者还改进了结构光重建系统，使之更准确更快速。所以整体的采集时间在8秒以内。其他的原理都是一样的。
Light Stage 2.0, 30个光源大大加速采集过程，源自[4]
由于采集速度的加快，Light Stage 2可以很容易的用于记录演员的各种表情、各种角度下的数据，而这些数据又可以用于生成数字化的虚拟动画人脸。它很快的吸引了索尼影业旗下Imageworks的视觉效果主管Scott Stokdyk的注意，他在Light Stage团队的配合下，用这个技术为电影“蜘蛛侠2”制作了演员阿尔弗雷德·莫利纳(Alfred Molina，“欧克医生”Doc Ock)和托比·马奎尔(Tobey Maguire，“蜘蛛侠”)的虚拟替身。这项技术在近40个镜头中使用，帮助这部2004年的电影获得了奥斯卡奖®最佳视觉效果成就奖。
蜘蛛侠2场景，源自[8]
Light Stage 2在越来越多的电影制作中使用，包括了2005年的电影《金刚》，以及2006年的电影《超人归来》，这部片子里创造了一个利用Light Stage2扫描数据制作的虚拟数字超人角色，在动作镜头和延长的特写镜头中都得到了成功的运用。逼真的数字人物作品帮助这部电影赢得了奥斯卡最佳视觉效果提名。
超人归来场景，源自[8]
Light Stage 5
后续的Light Stage系统从更多方面加以了改进，包括：
- 更加真实而稠密的环境光照、颜色
- 更快的采集速度
- 更高精度的人脸三维重建
Light Stage 5采用了156个可控的白色光源同时环绕主角，并采用了多种类型的相机来采集图像。与此同时，还创新性的采用了计算球谐照明图案来获取反射场的关键统计信息，从而把单个相机需要拍摄156张照片减少到了只需要拍摄8张照片，大大加速了采集过程。在采用高速摄影机时，甚至可以达到实时采集。如果是需要获取高精度的重建结果而采用单反相机的话，也只需要2秒即可完成采集。
Light Stage 5的采集场景，源自[8]
这个系统被用到了好莱坞的各种大片里面，很多都是你我耳熟能详的，比如：
《The Curious Case of Benjamin Button》（本杰明巴顿奇事）, 这里面布拉德皮特的老年形象都是这样创建的。
本杰明巴顿奇事用Light Stage5制作虚拟角色，源自[8]
《Spider-3》(蜘蛛侠3）
Light Stage 5用于蝙蝠侠3，源自[8]
《Avatar》（阿凡达）
阿凡达剧照，源自[8]
Light Stage 5最让人惊艳的展示是用其制作的"Digital Emily"，这是著名女星Emily O'Brien的纯数字化克隆，我们下一节详细讲讲这个项目。
四. Digital Emily项目
Digital Emily是Light Stage团队和Image Metrics公司的一次非常成功的合作，他们邀请了女星Emily O'Brien来作为主角，目的是为她制作一个非常精细的面部数字克隆。
图像的采集使用了Light Stage 5，每个表情只需要3秒钟即可采集完成，这个过程中单个相机会采集不同光照条件下的15张照片。
这里是利用156个LED模拟了四个梯度照明光照，包括一个均匀的光照（第1列），然后是沿着X/Y/Z方向强度递减光照。另外，还专门加入了一列代表正面点光源(第5列）利用我们前面讲过的原理，第二行减去第一行就能得到各种光照下的镜面反射光。
采集15张照片，源自[7]
第三列是不同光照条件下的条纹图，用于进行三维重建。由于采集的条纹图像是包括了漫反射和镜面反射在内的所有光线反射的，而我之前讲过光线进入皮肤深层后会多次内部反射，因此其反射位置也会漂移，从而导致生成得到三维模型达不到很高的精度，总体来说呈现出一种虚假的平滑：
条纹结构光用于三维重建，源自[7]
重建的结果比较平滑，源自[7]
但正如之前介绍的，我们可以通过镜面反射信息得到表面的法向量，利用这个信息就可以优化上述重建后的模型，得到高精度高分辨率的重建模型。注意镜面反射没有进入到皮肤内部，所以其得到的法向量精度很高。你可以从下图中看到皮肤的自然的毛孔、纹理等信息。
结合镜面反射场，进行高分辨率重建，源自[7]
结合镜面反射场，进行高分辨率重建，源自[7]
人的表情虽然千变万化，但是却可以用少量的具有代表性的表情来进行基本编码合成。所以，项目团队截取了33个最有代表性的表情，并生成了相应的高精度人脸模型：
这个过程重建的人脸模型达到了亚毫米级别，所以我们可以很清晰的观察到各个表情时面部皮肤、肌肉组织、毛孔等的细微变化
亚毫米的重建结果，使得我们可以观察到各种表情下皮肤肌肉的明显变化，源自[7]
由于我们有了漫反射的皮肤纹理，也有镜面反射的皮肤纹理，还有相应的各个分量的法向量，因此在重建并贴纹理后，可以得到非常逼真的结果。下面左图只使用了漫反射进行贴图，而右边则混合使用了镜面反射及相应的法向量。
贴图时 只用漫反射纹理 vs. 混合使用镜面反射纹理，后者更加真实 [7]
当采用传统的、通过有限的表情样张进行插值得到人脸的表情动画后，虚拟的Emily就活起来了：
让我们看看最终的成品吧，这样也就能够回答我在第二节开篇提到的问题了
五. 总结
现在让我们再来对比下胜算中的AI换脸技术成果，和Digital Emily中所用的虚拟人脸重建结果，孰优孰劣，你自己判断吧?
今天的文章里面，我向你展示了高精度的虚拟人像重建需要重视的两点：亚毫米级别的皮肤重建，以及适应于任何环节光照的人脸反射场。通过一系列图片和短视频、动画，我想你一定已经留下了深刻的印象。这里面非常重要的理论基础，包括了光的传输矩阵，光度立体学，光作为横波的偏振性质，等等。Light Stage技术发表于2000年，那时候第一作者Paul Debevec才差不多30岁，非常年轻。我不知道他有没有预料到，他的技术发明会在之后在那么多重要的影视作品中得到应用。让我们对他表示深深的感谢与敬意吧！
说回《胜算》中的换脸，我们当然不能苛求一部预算有限的电视剧，要像大荧幕上的好莱坞大片一样用如此昂贵先进的技术去创建虚拟角色，但我们确实管中窥豹看到了国际顶尖的特效制作中是如何应用计算摄影的技术的，相比起来我们国内的电影、电视的后期制作水平确实还差得远。要知道，Light Stage 2开始用于好莱坞的大片的时候是十几年前啊！
让我辈继续努力吧！
六、参考资料
- CMU 2017 Fall Computational Photography Course 15-463, Lecture 22
- Debevec et al., “Acquiring the reflectance field of a human face,” SIGGRAPH 2000.
- Light Stage 1的SIGGRAPH 2000演示ppt
- Light Stage 2.0介绍
- 谍战教父新剧《胜算》来袭 换脸删减影响剧情成为遗憾
- 《胜算》：优酷片源
- The Digital Emily Project: Achieving a Photoreal Digital Actor，引用了这里的文字、图片，视频信息
- The Light Stages at UC Berkeley and USC ICT，引用了这里的文字、图片、视频信息
- Mars说光场（5）— 光场在三维人脸建模中的应用
- 关于偏振镜的使用