实时渲染中角色的反走样

作者:李静翔

走样

在图形学渲染技术中,由于采样率不够会造成渲染结果的锯齿以及抖动,我们把这种现象称作走样。在离线渲染技术中,为了克服走样的问题,通常会增加每个像素中的采样点的个数,然后平均得到最终的颜色,这个方法是最自然的方法。在实时渲染技术中,也有类似的技术,比如MSAA等,但这种方法对计算资源的要求是成倍上升的,因此出现了很多其他的性能更优的方法。

基于NormalMap的反走样的方法以及由来

为了给大家一个直观的印象,可以访问这个demo:

http://www.selfshadow.com/sandbox/gloss.html

左图是走样的效果,右图是反走样的效果.

最早提出这个方法的是Nvidia的Michael Toksvig [1]. 该方法首先提出了一个重要概念,Normal Variation,也就是法线的变化。数学上来说就是把一个点周围的法线(已经归一化)加起来取平均然后算他的长度。试想一个绝对平整的表面,每个点的法线都是一样的,所以按照上述方法计算,得到的值是1.如果是一个比较粗糙的表面,每个点的法线都有各自的朝向,按照上述方法计算,得到的值小于1。作者并且提出了Toksvig因子的概念:

其中s是材质的密度,那个时候光照模型大部分是用的Blinn-Phong,因此该模型被改写为:

其中

是为了能量守恒而乘上的系数。但是在[2]中,作者认为公式推导不对,给了一个正确的方程

从公式可以看出,实现很简单,不用修改很多,但仅仅适用于Blinn模型。

基于物理真实的渲染

近年来,基于物理真实的光照模型开始在业界流行。该模型认为真实世界中的表面实际上是由很多微表面组成的:

基本方程为:

不同的研究人员对于D项,也叫法线分布函数(NDF),提出了自己的算法,目前大致有Cook-Torrance, Beckmann, GGX等。值得注意的是,D项里面包含了粗糙程度(roughness),用于描述表面的平整度。目前在游戏行业中,Beckmann和GGX是比较常用的模型。相比于Beckmann模型,GGX具有更长的拖尾效应,更符合物理真实效果。

基于物理真实的反走样

基于物理真实的渲染,很多学者提出了新的反走样的方法。因为在实时渲染中,在摄像机距离物体比较远时,都会用法线的mipmap渲染。这个从理论上就是错误的,因为反走样首先是把一个像素里的样本点都计算了以后,再去平均,用mipmap就是先对法线取平均再计算光照,所以是错误的。新的反走样方法跟上述方法的共同之处是根据每一级(level)的normalmipmap, 计算法线的变化(Normal Variation),然后衍生出不同的方案。下面介绍其中的几种:

  1. LEAN Mapping[3]。 这个方法主要是针对Beckmann模型提出的反走样方法。其计算光照的D方程为:

其中h是入射角与法线的夹角,b是法线,Σ是协相关矩阵,里面包含了roughness信息。Σ通过每一级的normalmap预处理得到。这个方法的优点是计算简单,但是需要修改渲染流水线模型。顺便提一句,作者之一MarcOlano现在也在Epic工作。

  1. SGGX[4]。通过看名字就能看出来,该反走样方法是针对GGX模型的,此方法主要是对GGX中的D项提出了新的算法:

其中ω为半角。

该模型支持一般表面的GGX材质以及衣物的GGX模型。对于一般表面的GGX材质,S项为:

其中x,y,z为法线的三个分量。该方法同时适用于离线和实时渲染。我们在Unreal Engine也尝试实现了D项。也顺便说一句,第一作者EricHeitz现在Unity任职。

  1. 上述两个方法对于渲染流水线的改动都比较大,对于游戏引擎来说修改的代价比较大。
  2. 文献[5]也提供了新的算法,而且算法简单,但是有局限性,比如要求平行光源,roughness不能太大。
  3. 目前UE取而代之的是用了改动更小的方案。下面我们开始介绍:

UE的材质反走样

  1. 目前的UE采用方案中,先把用户输入的roughness值转成强度值,然后UE根据法线的变化,计算出新的强度值,再把强度转换成新的roughness值。
  2. 我们采用了两种新的方法。在介绍新方法之前,我们先介绍球谐函数。球谐函数和傅立叶变化的本质是一样的,都是把一个信号分解成不同的分量,或者称作基。下图就是对于一个四阶的包含16个基的示意图:

基于这些基,一个复杂的信号或者图片就可以用几个简单的系数表示,当然基越多,就越接近于原信号。如果原信号是一个低频信号,那我们用少数的基也就够了。

  1. 文献[5]认为,一个像素内的多个样本的光照计算实际上就是物体表面的NDF(请注意区分GGX里的NDF)和BRDF的卷积。

基于上述原理,我们可以低频的物体表面的NDF也分解成球谐函数或者高频的NDF分解成von Mises-Fisher(VMF)函数,然后和BRDF的D项卷积。具体分解的过程可以查看文献[6]. 这样分解的好处是物体表面的NDF被表示成高斯函数,或类似高斯函数,同时BRDF的D项也可以做类似分解。大家知道卷积定理有一个非常重要的规则,就是两个高斯函数的卷积还是一个高斯函数,而且其结果和输入高斯函数的参数相关,因此不用通过暴力计算卷积。有了这个知识,这样我们的光照问题也就迎刃而解。最后可以得到下面简单的方程:

这个方程是一个简化版本的。在离线渲染中,实际上要用球谐函数或者VMF函数去拟合原来的normalmap,然后作者用了EM算法求解。该方程简单的描述了新的roughness和用户输入的roughness的关系,其中k由normalmap得到。这个方法在游戏1886得到了应用(http://www.gdcvault.com/play/1020162/Crafting-a-Next-Gen-Material)

  1. 我们尝试的另外一种方法是文献[7],他们把BRDF的D项也分解成了高斯函数:

因此我们也可以类似的得到新的Roughness。和上一条不同的地方仅仅是k的计算方法不同。

UE的反走样的使用

  1. 结束了上述让人昏昏欲睡的理论,下面看看UE中是如何使用的:
  2. UE中的材质支持物理真实的模型,可以看到材质节点包含了oughness
  1. 为了获得Roughness map,我们可以这样做:

https://docs.unrealengine.com/latest/INT/Engine/Content/Types/Textures/Composite/index.html

a) 导入包含alpha通道(用于后面把结果存入alpha通道)的法线贴图

b) 打开纹理,做如下设置:

c) 结果包含了对应于normalmapmipmap的各级roughnessmap:

结论

我们探索性的尝试了两种新的方法用于反走样,但具体那个方法更好,目前还没有明确的结论,将来在实践的工程中也许会有些新的结论。

引用

[1] Michael Toksvig. Mipmapping Normal Maps.

[2] Specular Showdown in the Wild West.

[3] Marc Olano, and Dan Baker. LEAN Mapping.

[4] Eric Heitz, Jonathan Dupuy, Cyril Crassin and Carsten Dachsbacher. The SGGX Microflake Distribution.

[5]Anton Kaplanyan, Stephen Hill, Anjul PatneyandAaron Lefohn. Filtering Distributions of Normals for Shading Antialiasing

[6] Charles Han, Bo Sun, Ravi Ramamoorthi and EitanGrinspun. Frequency Domain Normal Map Filtering.

[7] Ravi Ramanoorthi and Pat Hanrahan. A Signal-Processing Framework for Reflection.

[8] Jiaping Wang, Peiran Ren, Minmin Gong, John Snyder and Baining Guo. All-Frequency Rendering of Dynamic, Spatially-Varying Reflectance.

原创声明,本文系作者授权云+社区-专栏发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏计算机视觉与深度学习基础

【深度学习】写诗机器人tensorflow实现

代码地址:https://github.com/hjptriplebee/Chinese_poem_generator, 欢迎fork, star 机器人命名M...

1.3K5
来自专栏iOSDevLog

更快的iOS和macOS神经网络

因为神经网络本质上执行大量计算,所以它们在移动设备上尽可能高效地运行是很重要的。一个高效的模型能够在实时视频上获得实时结果 - 无需耗尽电池或使手机变热,就可以...

1122
来自专栏数据科学与人工智能

【机器学习】Python语言下的机器学习库

Python是最好的编程语言之一,在科学计算中用途广泛:计算机视觉、人工智能、数学、天文等。它同样适用于机器学习也是意料之中的事。 当然,它也有些缺点;其中一个...

23110
来自专栏数据科学与人工智能

【Python环境】Python语言下的机器学习库

Python是最好的编程语言之一,在科学计算中用途广泛:计算机视觉、人工智能、数学、天文等。它同样适用于机器学习也是意料之中的事。 当然,它也有些缺点;其中一个...

2666
来自专栏机器学习算法与Python学习

最好用的20个python库,这些你知道吗?

Python 在解决数据科学任务和挑战方面继续处于领先地位。去年,我们曾发表一篇博客文章 Top 15 Python Libraries for Data Sc...

680
来自专栏PPV课数据科学社区

如何用spss做一般(含虚拟变量)多元线性回归

回归一直是个很重要的主题。因为在数据分析的领域里边,模型重要的也是主要的作用包括两个方面,一是发现,一是预测。而很多时候我们就要通过回归来进行预测。关...

5477

Scikit-Learn的简介:Python机器学习库

如果你是一名Python程序员,或者你正在寻找一个强大的库,可以将机器学习运用到实际系统中,那么你要认真考虑一下scikit-learn。

5617
来自专栏机器人网

Python最有用的机器学习工具和库

Python是最好的编程语言之一,在科学计算中用途广泛:计算机视觉、人工智能、数学、天文等。它同样适用于机器学习也是意料之中的事。

895
来自专栏大数据挖掘DT机器学习

百度魅族深度学习大赛初赛冠军作品(图像识别.源码)

赛题以识别类似手写体的四则运算式为主题,参赛者需要在充满干扰信息的10万张图片中,设计算法识别图片上数学运算式并计算结果。决赛在初赛的基础上,引入分数和更加复杂...

3655
来自专栏计算机视觉life

自识别标记(self-identifying marker) -(5) 用于相机标定的CALTag图案设计

前面介绍了CALTag的工作原理、应用领域。如果我们想在实际项目中应用自识别标记,通常需要根据项目的特点来设计不同尺寸,不同数目,不同排列的图案,那么如何设计属...

1887

扫码关注云+社区