实时渲染中角色的反走样

作者：李静翔

走样

在图形学渲染技术中，由于采样率不够会造成渲染结果的锯齿以及抖动，我们把这种现象称作走样。在离线渲染技术中，为了克服走样的问题，通常会增加每个像素中的采样点的个数，然后平均得到最终的颜色，这个方法是最自然的方法。在实时渲染技术中，也有类似的技术，比如MSAA等，但这种方法对计算资源的要求是成倍上升的，因此出现了很多其他的性能更优的方法。

基于NormalMap的反走样的方法以及由来

为了给大家一个直观的印象，可以访问这个demo:

http://www.selfshadow.com/sandbox/gloss.html

左图是走样的效果，右图是反走样的效果.

最早提出这个方法的是Nvidia的Michael Toksvig [1]. 该方法首先提出了一个重要概念，Normal Variation,也就是法线的变化。数学上来说就是把一个点周围的法线（已经归一化）加起来取平均然后算他的长度。试想一个绝对平整的表面，每个点的法线都是一样的，所以按照上述方法计算，得到的值是1.如果是一个比较粗糙的表面，每个点的法线都有各自的朝向，按照上述方法计算，得到的值小于1。作者并且提出了Toksvig因子的概念：

其中s是材质的密度，那个时候光照模型大部分是用的Blinn-Phong，因此该模型被改写为：

其中

是为了能量守恒而乘上的系数。但是在[2]中，作者认为公式推导不对，给了一个正确的方程

从公式可以看出，实现很简单，不用修改很多，但仅仅适用于Blinn模型。

基于物理真实的渲染

近年来，基于物理真实的光照模型开始在业界流行。该模型认为真实世界中的表面实际上是由很多微表面组成的:

基本方程为：

不同的研究人员对于D项，也叫法线分布函数(NDF)，提出了自己的算法，目前大致有Cook-Torrance, Beckmann, GGX等。值得注意的是，D项里面包含了粗糙程度（roughness）,用于描述表面的平整度。目前在游戏行业中，Beckmann和GGX是比较常用的模型。相比于Beckmann模型，GGX具有更长的拖尾效应，更符合物理真实效果。

基于物理真实的反走样

基于物理真实的渲染，很多学者提出了新的反走样的方法。因为在实时渲染中，在摄像机距离物体比较远时，都会用法线的mipmap渲染。这个从理论上就是错误的，因为反走样首先是把一个像素里的样本点都计算了以后，再去平均，用mipmap就是先对法线取平均再计算光照，所以是错误的。新的反走样方法跟上述方法的共同之处是根据每一级(level)的normalmipmap, 计算法线的变化（Normal Variation），然后衍生出不同的方案。下面介绍其中的几种:

1. LEAN Mapping[3]。 这个方法主要是针对Beckmann模型提出的反走样方法。其计算光照的D方程为：

其中h是入射角与法线的夹角，b是法线，Σ是协相关矩阵，里面包含了roughness信息。Σ通过每一级的normalmap预处理得到。这个方法的优点是计算简单，但是需要修改渲染流水线模型。顺便提一句，作者之一MarcOlano现在也在Epic工作。

1. SGGX[4]。通过看名字就能看出来，该反走样方法是针对GGX模型的，此方法主要是对GGX中的D项提出了新的算法：

其中ω为半角。

该模型支持一般表面的GGX材质以及衣物的GGX模型。对于一般表面的GGX材质，S项为：

其中x,y,z为法线的三个分量。该方法同时适用于离线和实时渲染。我们在Unreal Engine也尝试实现了D项。也顺便说一句，第一作者EricHeitz现在Unity任职。

1. 上述两个方法对于渲染流水线的改动都比较大，对于游戏引擎来说修改的代价比较大。
2. 文献[5]也提供了新的算法，而且算法简单，但是有局限性，比如要求平行光源，roughness不能太大。
3. 目前UE取而代之的是用了改动更小的方案。下面我们开始介绍:

UE的材质反走样

1. 目前的UE采用方案中，先把用户输入的roughness值转成强度值，然后UE根据法线的变化，计算出新的强度值，再把强度转换成新的roughness值。
2. 我们采用了两种新的方法。在介绍新方法之前，我们先介绍球谐函数。球谐函数和傅立叶变化的本质是一样的，都是把一个信号分解成不同的分量，或者称作基。下图就是对于一个四阶的包含16个基的示意图：

基于这些基，一个复杂的信号或者图片就可以用几个简单的系数表示，当然基越多，就越接近于原信号。如果原信号是一个低频信号，那我们用少数的基也就够了。

1. 文献[5]认为，一个像素内的多个样本的光照计算实际上就是物体表面的NDF（请注意区分GGX里的NDF）和BRDF的卷积。

基于上述原理，我们可以低频的物体表面的NDF也分解成球谐函数或者高频的NDF分解成von Mises-Fisher(VMF)函数，然后和BRDF的D项卷积。具体分解的过程可以查看文献[6]. 这样分解的好处是物体表面的NDF被表示成高斯函数，或类似高斯函数，同时BRDF的D项也可以做类似分解。大家知道卷积定理有一个非常重要的规则，就是两个高斯函数的卷积还是一个高斯函数，而且其结果和输入高斯函数的参数相关，因此不用通过暴力计算卷积。有了这个知识，这样我们的光照问题也就迎刃而解。最后可以得到下面简单的方程：

这个方程是一个简化版本的。在离线渲染中，实际上要用球谐函数或者VMF函数去拟合原来的normalmap，然后作者用了EM算法求解。该方程简单的描述了新的roughness和用户输入的roughness的关系，其中k由normalmap得到。这个方法在游戏1886得到了应用(http://www.gdcvault.com/play/1020162/Crafting-a-Next-Gen-Material)

1. 我们尝试的另外一种方法是文献[7]，他们把BRDF的D项也分解成了高斯函数:

因此我们也可以类似的得到新的Roughness。和上一条不同的地方仅仅是k的计算方法不同。

UE的反走样的使用

1. 结束了上述让人昏昏欲睡的理论，下面看看UE中是如何使用的：
2. UE中的材质支持物理真实的模型，可以看到材质节点包含了oughness

1. 为了获得Roughness map，我们可以这样做：

https://docs.unrealengine.com/latest/INT/Engine/Content/Types/Textures/Composite/index.html

a) 导入包含alpha通道（用于后面把结果存入alpha通道）的法线贴图

b) 打开纹理，做如下设置：

c) 结果包含了对应于normalmapmipmap的各级roughnessmap：

结论

我们探索性的尝试了两种新的方法用于反走样，但具体那个方法更好，目前还没有明确的结论，将来在实践的工程中也许会有些新的结论。

引用

[1] Michael Toksvig. Mipmapping Normal Maps.

[2] Specular Showdown in the Wild West.

[3] Marc Olano, and Dan Baker. LEAN Mapping.

[4] Eric Heitz, Jonathan Dupuy, Cyril Crassin and Carsten Dachsbacher. The SGGX Microflake Distribution.

[5]Anton Kaplanyan, Stephen Hill, Anjul PatneyandAaron Lefohn. Filtering Distributions of Normals for Shading Antialiasing

[6] Charles Han, Bo Sun, Ravi Ramamoorthi and EitanGrinspun. Frequency Domain Normal Map Filtering.

[7] Ravi Ramanoorthi and Pat Hanrahan. A Signal-Processing Framework for Reflection.

[8] Jiaping Wang, Peiran Ren, Minmin Gong, John Snyder and Baining Guo. All-Frequency Rendering of Dynamic, Spatially-Varying Reflectance.