实时渲染中角色的反走样

作者:李静翔

走样

在图形学渲染技术中,由于采样率不够会造成渲染结果的锯齿以及抖动,我们把这种现象称作走样。在离线渲染技术中,为了克服走样的问题,通常会增加每个像素中的采样点的个数,然后平均得到最终的颜色,这个方法是最自然的方法。在实时渲染技术中,也有类似的技术,比如MSAA等,但这种方法对计算资源的要求是成倍上升的,因此出现了很多其他的性能更优的方法。

基于NormalMap的反走样的方法以及由来

为了给大家一个直观的印象,可以访问这个demo:

http://www.selfshadow.com/sandbox/gloss.html

左图是走样的效果,右图是反走样的效果.

最早提出这个方法的是Nvidia的Michael Toksvig [1]. 该方法首先提出了一个重要概念,Normal Variation,也就是法线的变化。数学上来说就是把一个点周围的法线(已经归一化)加起来取平均然后算他的长度。试想一个绝对平整的表面,每个点的法线都是一样的,所以按照上述方法计算,得到的值是1.如果是一个比较粗糙的表面,每个点的法线都有各自的朝向,按照上述方法计算,得到的值小于1。作者并且提出了Toksvig因子的概念:

其中s是材质的密度,那个时候光照模型大部分是用的Blinn-Phong,因此该模型被改写为:

其中

是为了能量守恒而乘上的系数。但是在[2]中,作者认为公式推导不对,给了一个正确的方程

从公式可以看出,实现很简单,不用修改很多,但仅仅适用于Blinn模型。

基于物理真实的渲染

近年来,基于物理真实的光照模型开始在业界流行。该模型认为真实世界中的表面实际上是由很多微表面组成的:

基本方程为:

不同的研究人员对于D项,也叫法线分布函数(NDF),提出了自己的算法,目前大致有Cook-Torrance, Beckmann, GGX等。值得注意的是,D项里面包含了粗糙程度(roughness),用于描述表面的平整度。目前在游戏行业中,Beckmann和GGX是比较常用的模型。相比于Beckmann模型,GGX具有更长的拖尾效应,更符合物理真实效果。

基于物理真实的反走样

基于物理真实的渲染,很多学者提出了新的反走样的方法。因为在实时渲染中,在摄像机距离物体比较远时,都会用法线的mipmap渲染。这个从理论上就是错误的,因为反走样首先是把一个像素里的样本点都计算了以后,再去平均,用mipmap就是先对法线取平均再计算光照,所以是错误的。新的反走样方法跟上述方法的共同之处是根据每一级(level)的normalmipmap, 计算法线的变化(Normal Variation),然后衍生出不同的方案。下面介绍其中的几种:

  1. LEAN Mapping[3]。 这个方法主要是针对Beckmann模型提出的反走样方法。其计算光照的D方程为:

其中h是入射角与法线的夹角,b是法线,Σ是协相关矩阵,里面包含了roughness信息。Σ通过每一级的normalmap预处理得到。这个方法的优点是计算简单,但是需要修改渲染流水线模型。顺便提一句,作者之一MarcOlano现在也在Epic工作。

  1. SGGX[4]。通过看名字就能看出来,该反走样方法是针对GGX模型的,此方法主要是对GGX中的D项提出了新的算法:

其中ω为半角。

该模型支持一般表面的GGX材质以及衣物的GGX模型。对于一般表面的GGX材质,S项为:

其中x,y,z为法线的三个分量。该方法同时适用于离线和实时渲染。我们在Unreal Engine也尝试实现了D项。也顺便说一句,第一作者EricHeitz现在Unity任职。

  1. 上述两个方法对于渲染流水线的改动都比较大,对于游戏引擎来说修改的代价比较大。
  2. 文献[5]也提供了新的算法,而且算法简单,但是有局限性,比如要求平行光源,roughness不能太大。
  3. 目前UE取而代之的是用了改动更小的方案。下面我们开始介绍:

UE的材质反走样

  1. 目前的UE采用方案中,先把用户输入的roughness值转成强度值,然后UE根据法线的变化,计算出新的强度值,再把强度转换成新的roughness值。
  2. 我们采用了两种新的方法。在介绍新方法之前,我们先介绍球谐函数。球谐函数和傅立叶变化的本质是一样的,都是把一个信号分解成不同的分量,或者称作基。下图就是对于一个四阶的包含16个基的示意图:

基于这些基,一个复杂的信号或者图片就可以用几个简单的系数表示,当然基越多,就越接近于原信号。如果原信号是一个低频信号,那我们用少数的基也就够了。

  1. 文献[5]认为,一个像素内的多个样本的光照计算实际上就是物体表面的NDF(请注意区分GGX里的NDF)和BRDF的卷积。

基于上述原理,我们可以低频的物体表面的NDF也分解成球谐函数或者高频的NDF分解成von Mises-Fisher(VMF)函数,然后和BRDF的D项卷积。具体分解的过程可以查看文献[6]. 这样分解的好处是物体表面的NDF被表示成高斯函数,或类似高斯函数,同时BRDF的D项也可以做类似分解。大家知道卷积定理有一个非常重要的规则,就是两个高斯函数的卷积还是一个高斯函数,而且其结果和输入高斯函数的参数相关,因此不用通过暴力计算卷积。有了这个知识,这样我们的光照问题也就迎刃而解。最后可以得到下面简单的方程:

这个方程是一个简化版本的。在离线渲染中,实际上要用球谐函数或者VMF函数去拟合原来的normalmap,然后作者用了EM算法求解。该方程简单的描述了新的roughness和用户输入的roughness的关系,其中k由normalmap得到。这个方法在游戏1886得到了应用(http://www.gdcvault.com/play/1020162/Crafting-a-Next-Gen-Material)

  1. 我们尝试的另外一种方法是文献[7],他们把BRDF的D项也分解成了高斯函数:

因此我们也可以类似的得到新的Roughness。和上一条不同的地方仅仅是k的计算方法不同。

UE的反走样的使用

  1. 结束了上述让人昏昏欲睡的理论,下面看看UE中是如何使用的:
  2. UE中的材质支持物理真实的模型,可以看到材质节点包含了oughness
  1. 为了获得Roughness map,我们可以这样做:

https://docs.unrealengine.com/latest/INT/Engine/Content/Types/Textures/Composite/index.html

a) 导入包含alpha通道(用于后面把结果存入alpha通道)的法线贴图

b) 打开纹理,做如下设置:

c) 结果包含了对应于normalmapmipmap的各级roughnessmap:

结论

我们探索性的尝试了两种新的方法用于反走样,但具体那个方法更好,目前还没有明确的结论,将来在实践的工程中也许会有些新的结论。

引用

[1] Michael Toksvig. Mipmapping Normal Maps.

[2] Specular Showdown in the Wild West.

[3] Marc Olano, and Dan Baker. LEAN Mapping.

[4] Eric Heitz, Jonathan Dupuy, Cyril Crassin and Carsten Dachsbacher. The SGGX Microflake Distribution.

[5]Anton Kaplanyan, Stephen Hill, Anjul PatneyandAaron Lefohn. Filtering Distributions of Normals for Shading Antialiasing

[6] Charles Han, Bo Sun, Ravi Ramamoorthi and EitanGrinspun. Frequency Domain Normal Map Filtering.

[7] Ravi Ramanoorthi and Pat Hanrahan. A Signal-Processing Framework for Reflection.

[8] Jiaping Wang, Peiran Ren, Minmin Gong, John Snyder and Baining Guo. All-Frequency Rendering of Dynamic, Spatially-Varying Reflectance.

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CVer

TensorFlow从入门到精通 | 预告篇

[TensorFlow从入门到精通]系列课程既包含TensorFlow的基础知识点(如Graph),还有卷积神经网络、模型的保存和恢复、迁移学习、Fine-Tu...

1184
来自专栏机器之心

资源 | Feature Tools:可自动构造机器学习特征的Python库

机器学习越来越多地从人工设计模型转向使用 H20、TPOT 和 auto-sklearn 等工具自动优化的工具。这些库以及随机搜索(参见《Random Sear...

1102
来自专栏机器学习人工学weekly

机器学习人工学weekly-2018/3/17

1. PyTorch构架分析 PyTorch – Internal Architecture Tour 链接:http://blog.christianper...

3027
来自专栏AI研习社

手把手教你用Python 和 Scikit-learn 实现垃圾邮件过滤

文本挖掘(Text Mining,从文字中获取信息)是一个比较宽泛的概念,这一技术在如今每天都有海量文本数据生成的时代越来越受到关注。目前,在机器学习模型的帮助...

3608
来自专栏达观数据

达观数据搜索引擎排序实践(上篇)

前言 随着互联网的深入发展,人类已然进入大数据时代。如何在浩瀚的数据海洋里高速有效的获取有价值的信息,正是促使大数据技术具备走向众多企业的潜力。搜索引擎作为获取...

4299
来自专栏大数据挖掘DT机器学习

详细步骤:用R语言做文本挖掘

目录 Part1 安装依赖包 Part2 分词处理 Part3文本聚类 Part4 文本分类 Part5情感分析 Part1 安装依赖包 R语言中中文分析的...

56412
来自专栏大数据挖掘DT机器学习

车辆目标检测

3594
来自专栏机器之心

教程 | 初学文本分析:用Python和scikit-learn实现垃圾邮件过滤器

选自kdnuggets 机器之心编译 参与:王宇欣、吴攀 本文介绍了如何通过 Python 和 scikit-learn 实现垃圾邮件过滤的。对比和分析了两个分...

3347
来自专栏新智元

【AI可能真的要代替插画师了】复旦同济用cGAN生成动画人物

【新智元导读】复旦大学、同济、CMU等的研究者使用cGAN生成各种属性的二次元人物头像,效果非常令人印象深刻。生成的图片质量非常之高,本文作者认为这项工作如果加...

3405
来自专栏数说工作室

浅议P值校正

P值,通常被我们用来判断是否接受一个假设,关于P值的前世今生,可以看数说君的了一篇文章《P值之死》,在微信公众号中回复“P值”查看。本篇不说P值本身的问题,我们...

3966

扫码关注云+社区