实时渲染中角色的反走样

作者:李静翔

走样

在图形学渲染技术中,由于采样率不够会造成渲染结果的锯齿以及抖动,我们把这种现象称作走样。在离线渲染技术中,为了克服走样的问题,通常会增加每个像素中的采样点的个数,然后平均得到最终的颜色,这个方法是最自然的方法。在实时渲染技术中,也有类似的技术,比如MSAA等,但这种方法对计算资源的要求是成倍上升的,因此出现了很多其他的性能更优的方法。

基于NormalMap的反走样的方法以及由来

为了给大家一个直观的印象,可以访问这个demo:

http://www.selfshadow.com/sandbox/gloss.html

左图是走样的效果,右图是反走样的效果.

最早提出这个方法的是Nvidia的Michael Toksvig [1]. 该方法首先提出了一个重要概念,Normal Variation,也就是法线的变化。数学上来说就是把一个点周围的法线(已经归一化)加起来取平均然后算他的长度。试想一个绝对平整的表面,每个点的法线都是一样的,所以按照上述方法计算,得到的值是1.如果是一个比较粗糙的表面,每个点的法线都有各自的朝向,按照上述方法计算,得到的值小于1。作者并且提出了Toksvig因子的概念:

其中s是材质的密度,那个时候光照模型大部分是用的Blinn-Phong,因此该模型被改写为:

其中

是为了能量守恒而乘上的系数。但是在[2]中,作者认为公式推导不对,给了一个正确的方程

从公式可以看出,实现很简单,不用修改很多,但仅仅适用于Blinn模型。

基于物理真实的渲染

近年来,基于物理真实的光照模型开始在业界流行。该模型认为真实世界中的表面实际上是由很多微表面组成的:

基本方程为:

不同的研究人员对于D项,也叫法线分布函数(NDF),提出了自己的算法,目前大致有Cook-Torrance, Beckmann, GGX等。值得注意的是,D项里面包含了粗糙程度(roughness),用于描述表面的平整度。目前在游戏行业中,Beckmann和GGX是比较常用的模型。相比于Beckmann模型,GGX具有更长的拖尾效应,更符合物理真实效果。

基于物理真实的反走样

基于物理真实的渲染,很多学者提出了新的反走样的方法。因为在实时渲染中,在摄像机距离物体比较远时,都会用法线的mipmap渲染。这个从理论上就是错误的,因为反走样首先是把一个像素里的样本点都计算了以后,再去平均,用mipmap就是先对法线取平均再计算光照,所以是错误的。新的反走样方法跟上述方法的共同之处是根据每一级(level)的normalmipmap, 计算法线的变化(Normal Variation),然后衍生出不同的方案。下面介绍其中的几种:

  1. LEAN Mapping[3]。 这个方法主要是针对Beckmann模型提出的反走样方法。其计算光照的D方程为:

其中h是入射角与法线的夹角,b是法线,Σ是协相关矩阵,里面包含了roughness信息。Σ通过每一级的normalmap预处理得到。这个方法的优点是计算简单,但是需要修改渲染流水线模型。顺便提一句,作者之一MarcOlano现在也在Epic工作。

  1. SGGX[4]。通过看名字就能看出来,该反走样方法是针对GGX模型的,此方法主要是对GGX中的D项提出了新的算法:

其中ω为半角。

该模型支持一般表面的GGX材质以及衣物的GGX模型。对于一般表面的GGX材质,S项为:

其中x,y,z为法线的三个分量。该方法同时适用于离线和实时渲染。我们在Unreal Engine也尝试实现了D项。也顺便说一句,第一作者EricHeitz现在Unity任职。

  1. 上述两个方法对于渲染流水线的改动都比较大,对于游戏引擎来说修改的代价比较大。
  2. 文献[5]也提供了新的算法,而且算法简单,但是有局限性,比如要求平行光源,roughness不能太大。
  3. 目前UE取而代之的是用了改动更小的方案。下面我们开始介绍:

UE的材质反走样

  1. 目前的UE采用方案中,先把用户输入的roughness值转成强度值,然后UE根据法线的变化,计算出新的强度值,再把强度转换成新的roughness值。
  2. 我们采用了两种新的方法。在介绍新方法之前,我们先介绍球谐函数。球谐函数和傅立叶变化的本质是一样的,都是把一个信号分解成不同的分量,或者称作基。下图就是对于一个四阶的包含16个基的示意图:

基于这些基,一个复杂的信号或者图片就可以用几个简单的系数表示,当然基越多,就越接近于原信号。如果原信号是一个低频信号,那我们用少数的基也就够了。

  1. 文献[5]认为,一个像素内的多个样本的光照计算实际上就是物体表面的NDF(请注意区分GGX里的NDF)和BRDF的卷积。

基于上述原理,我们可以低频的物体表面的NDF也分解成球谐函数或者高频的NDF分解成von Mises-Fisher(VMF)函数,然后和BRDF的D项卷积。具体分解的过程可以查看文献[6]. 这样分解的好处是物体表面的NDF被表示成高斯函数,或类似高斯函数,同时BRDF的D项也可以做类似分解。大家知道卷积定理有一个非常重要的规则,就是两个高斯函数的卷积还是一个高斯函数,而且其结果和输入高斯函数的参数相关,因此不用通过暴力计算卷积。有了这个知识,这样我们的光照问题也就迎刃而解。最后可以得到下面简单的方程:

这个方程是一个简化版本的。在离线渲染中,实际上要用球谐函数或者VMF函数去拟合原来的normalmap,然后作者用了EM算法求解。该方程简单的描述了新的roughness和用户输入的roughness的关系,其中k由normalmap得到。这个方法在游戏1886得到了应用(http://www.gdcvault.com/play/1020162/Crafting-a-Next-Gen-Material)

  1. 我们尝试的另外一种方法是文献[7],他们把BRDF的D项也分解成了高斯函数:

因此我们也可以类似的得到新的Roughness。和上一条不同的地方仅仅是k的计算方法不同。

UE的反走样的使用

  1. 结束了上述让人昏昏欲睡的理论,下面看看UE中是如何使用的:
  2. UE中的材质支持物理真实的模型,可以看到材质节点包含了oughness
  1. 为了获得Roughness map,我们可以这样做:

https://docs.unrealengine.com/latest/INT/Engine/Content/Types/Textures/Composite/index.html

a) 导入包含alpha通道(用于后面把结果存入alpha通道)的法线贴图

b) 打开纹理,做如下设置:

c) 结果包含了对应于normalmapmipmap的各级roughnessmap:

结论

我们探索性的尝试了两种新的方法用于反走样,但具体那个方法更好,目前还没有明确的结论,将来在实践的工程中也许会有些新的结论。

引用

[1] Michael Toksvig. Mipmapping Normal Maps.

[2] Specular Showdown in the Wild West.

[3] Marc Olano, and Dan Baker. LEAN Mapping.

[4] Eric Heitz, Jonathan Dupuy, Cyril Crassin and Carsten Dachsbacher. The SGGX Microflake Distribution.

[5]Anton Kaplanyan, Stephen Hill, Anjul PatneyandAaron Lefohn. Filtering Distributions of Normals for Shading Antialiasing

[6] Charles Han, Bo Sun, Ravi Ramamoorthi and EitanGrinspun. Frequency Domain Normal Map Filtering.

[7] Ravi Ramanoorthi and Pat Hanrahan. A Signal-Processing Framework for Reflection.

[8] Jiaping Wang, Peiran Ren, Minmin Gong, John Snyder and Baining Guo. All-Frequency Rendering of Dynamic, Spatially-Varying Reflectance.

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏深度学习与计算机视觉

理解梯度下降在机器学习模型优化中的应用

认识梯度下降算法 这篇博客的内容是为了介绍梯度下降算法在模型优化中的作用,也就是说,正常的顺序是我们要学习一个模型(确定模型参数),在优化这么未知模型的时候,使...

2388
来自专栏机器学习算法与Python学习

神经网络

神经网络 来源:UFLDL教程 本文为神经网络综合系列的第一篇,通过学习,你也将实现多个功能学习/深度学习算法,能看到它们为你工作,并学习如何应用/适应这些想法...

3527
来自专栏智能算法

机器学习三人行(系列九)----千变万化的组合算法(附代码)

上节中我们讲解了决策树的使用: 机器学习三人行(系列八)----神奇的分类回归决策树(附代码) 本文我们在决策树的基础上,更进一步的讨论由常用机器学习算法进行组...

36610
来自专栏企鹅号快讯

机器学习三人行-千变万化的组合算法

本文我们在决策树的基础上,更进一步的讨论由常用机器学习算法进行组合的集成算法,对集成算法最直接的理解就是三个臭皮匠赛过诸葛亮,通常我们已经建立了一些预测效果较好...

2126
来自专栏企鹅号快讯

深入机器学习系列8-Gradient-boosted tree

梯度提升树 1 Boosting   是一类将弱学习器提升为强学习器的算法。这类算法的工作机制类似:先从初始训练集中训练出一个基学习器,再根据基学习器的表现对训...

2026
来自专栏算法channel

3 张PPT理解如何训练 RNN

损失函数选用交叉熵,机器学习的很多算法模型也都会选用交叉熵。显然,损失函数大小不想受训练语料库的单词数影响,因此计算所有训练单词的交叉熵再求平均即可。

951
来自专栏Pytorch实践

深度学习之句子表达

在之前的文章里,我们介绍了词语表达的训练,使用skip-gram模型训练word2vec。既然词语能表达,那句子也同样能被分布式的向量表示。这里主要介绍几种句子...

42811
来自专栏Brian

深度学习笔记-优化算法

深度学习模型是作用在大型数据集上进行训练,选择好的优化算法不仅可以节省你的时间问题,还可以帮助你找到最优解进而解决你的问题。今天来了解一下常用的优化算法:Min...

770
来自专栏机器学习算法原理与实践

Bagging与随机森林算法原理小结

    在集成学习原理小结中,我们讲到了集成学习有两个流派,一个是boosting派系,它的特点是各个弱学习器之间有依赖关系。另一种是bagging流派,它的特...

943
来自专栏机器学习算法与Python学习

Machine Learning -- Boosting

本来想写随机森林的但是由于其中用到了太多提升的思想,所以就先整理整理提升的相关概念。 Boosting方法是一种用来提高弱分类算法准确度的方法,这种方法通过构造...

3156

扫码关注云+社区