ARKit 进阶:材质

Scenekit lights and materials

光照与材质,是决定3D世界中的模型如何渲染的关键参数。许多时候模型的渲染对与不对,往往只是一种视觉的感受。由于不是测试驱动的,所以多数情况下,考验的不是你的逻辑,而是不断调试到理想的效果。熟悉光照与材质的着色方式,能够快速定位与解决问题。

Materials

材质指定了引擎如何在渲染阶段对几何体的每个像素着色。 SceneKit 中,每个SCNMaterial有八个决定视觉感官的属性(SCNMaterialProperty),其实就是3D建模时的光照贴图,当然每个属性也可以设置成纯色。SCNMaterial是可以复用的,但是要更改时,如果不想影响到其他模型,最好先复制一份。

Order of materials

有人对 SceneKit 的每个几何体都可以拥有一组材质不理解。他们是用来对几何体子元素着色的。如果几何体的子元素与材质数量对应,那么二者的索引是一一对应的。这里的子元素,一般就是引擎根据几何体顶点算出的多边形面。

例如有一个box,那么显然它是由6个多边形面,如果 box.materials 有6个材质,那么每个面就应用对应的材质。几何体的子元素引用顺序是固定的,对于这个box,多边形引用顺序是 front -> right -> back -> left -> top -> bottom。如果我们需要这个box只有顶面与底面显示,其他面隐藏,就可以这么设置:

self.boxGeometry.materials = @[transparentMaterial, transparentMaterial, 
transparentMaterial, transparentMaterial, topMaterial, bottomMaterial];

如果材质与子元素的数量不匹配,那么按照求余的方式去映射。

elements[index] <-> materials[index % numOfMaterial]

Appearance of Material

材质的表现由它的视觉属性决定,它们都是SCNMaterialProperty对象。SceneKit在渲染场景时,就是依据视觉属性与光照来决定最终的像素颜色。

Material property

材质所拥有的一组SCNMaterialProperty,被称为视觉属性,它们决定了材质“长什么样”。SCNMaterialProperty.content可以是纯色(相当于提供纯色纹理)也可以是纹理, 或者数字(主要用于 roughness 等 physicallyBased 模式的属性)。当内容是纹理时,SceneKit会采用纹理映射的方式采样相应的点作为材质属性。 纹理的读取源有以下四种:

  1. UIImage
  2. 全景格式的图像,如cube images(六张图像)
  3. CALayer
  4. SpriteKit scene
  5. SKTexture, MDLTexture, MTLTexture, GLKTextureInfo

SceneKit cannot use a layer that is already being displayed elsewhere (for example, the backing layer of a UIView object).

在使用CALayer作为内容时,如果是UIView.layer并且该UIView已经添加到其他层级中,那么内容会为空。

visual properties

当渲染材质时,由材质的光照模型lightModel确定要用到的视觉属性(diffuse/specular/normal),再配合场景中的光照,计算出每个点的颜色。

  • diffuse

diffuse 指定了材质对光照的漫反射。人眼看到物体,实际上人眼接收到物体的漫反射光。所以diffuse实际上是物理的基本样貌,任何光照模型都会用到diffuse这个最基本属性。

图:diffuse

  • ambient

ambient指定了材质对环境光的漫反射。一般情况下,diffuse已经包含环境光与方向光的漫反射,当locksAmbientWithDiffuse为NO时,ambient才会生效。这个属性只有在想突出环境光的情况下才会用到,一般diffuse已经足够,且效率更高。

图:ambient

  • specular

specular指定了材质的镜面反射,,用来表现材质的光滑程度。这个很好理解,漫反射是对各个方向的反射光,而镜面反射的角度一般不超过90度,角度越小看着越光滑。不管是 phong 还是 blinn-phong 光照模型,镜面反射都与材质的shininess相关, shinness越大,反射效果对比度越高,类似玻璃反射。

specular map 的亮度与材质的光滑程度成正比,specualr默认是纯黑色,即全粗糙表面。

图:specular

  • normal

normal指定了材质表面每个点的法线方向,在处理光照时,会根据normal计算阴影。

在光滑的表面,normal提供了一种假的几何凸起,而不用去增加几何复杂度。在 normal map 时,normal纹理的 R, G, B, 就是材质对应点法向量的X, Y, Z。当normal是纯色时,normal map 会自动失效。

图: normal

  • reflective

relective指定了材质对周围环境的反射。例如在树林里和在房间里,材质表面的反射效果应该是不同的,树林的环境下材质会泛绿。relective就用来做这件事,只需要将relective.content赋值为周围环境的图像。

图:reflective

  • emission

emission指定了材质表面发光(亮度较高)的位置。emission并不能让材质发光,只不过在计算光照是,emission 纹理中较亮的点不会参与到光照计算中,使这些点在阴暗的环境下显得更亮一些。emission默认是纯黑色,相当于提供了纯黑的纹理,emission无效。

图:emission

  • transparent

transparent指定了材质表面每个点的透明度。不同于transparency控制整个材质的透明度,transparent精准地控制每个点,其透明度等于 transparent 纹理的像素点 alpha 值。

图:transparent

  • multiply

multiply的内容,会在材质渲染完成之后,叠加在材质之上。multiply默认无效,内容是纯白色。

图: multiply

  • ambientOcclusion

ambientOcclusion,环境光遮蔽是一项用于提高模型细节的技术。由于环境光是不产生阴影的,引擎只会渲染方向光的阴影,这使得细节比较复杂的模型表现是真。传统的环境光是依靠射线追踪实现的,由于要处理每一个点,这种技术非常耗时。对于静态的模型,我们可以设置已经计算好的环境光遮蔽图,这样既能够有良好的细节,又不会造成大的性能损耗。

图:ambient occlusion

  • Physically based properties

以下几个属性,只有 physicallyBased 光照模型下的材质才有用,它们的效果比传统的光照模型更真实,值得多多尝试。

  • selfIllumination

selfIllumination 能会覆盖物体的亮度计算结果, 能让材质自己定义表面的亮度。在昏暗的环境下,模型由于不在光照范围可能会模糊不清,这时使用selfIllumination可以调节模型的亮度。

  • metalness

metalness 顾名思义,用来模拟材质表面的金属感。metalness 纹理的亮度决定材质的金属感,越亮越像金属。在设置 SCNScene.lightingEnvironment 后,引擎会根据真实的反射、折射参数去模拟金属表面的反光,效果很棒。

图:metalness

  • roughness roughness 与 specular 相似,用来表现模型表面的光滑程度。roughness 的计算规则是模拟真实世界的物理参数,与specular相比少了一些塑料感。roughness 纹理的亮度决定越粗糙,越亮越粗糙。

Light model of material

材质的光照模型,决定光照如何参与到材质的着色计算中。对于没有特殊需要的模型,SceneKit team 推荐使用physicallyBased,它能根据实时的场景变化渲染出更加真实的效果。

SceneKit支持五种光照模型:

1. constant 在计算模型表面的颜色时,只考虑环境光。在我们不需要模型的self-shadows时,可以将模型设置成constant model。相关问题

2. physicallyBased 根据真实世界的光照与材质效果,渲染模型表面。physicallyBased 的算法对于lighting environment的反射效果非常好,尤其是金属材质能以假乱真。 physicallyBased 主要根据材质的 diffuse ,roughness, metalness ,ambientOcclusion来计算着色。

3. lambert 根据lambert算法渲染模型表面,只考虑环境光与方向光在模型表面产生的漫反射。

color = ambient * al + diffuse * max(0, dot(N, L))

算法的公式就是将两种不同光的漫反射效果相加,lambert 主要根据材质的diffuse与ambient来计算着色。

4. phong 在计算Lambert漫反射的基础上,加上了用phong算法计算的镜面反射。

color = ambient * al + diffuse * max(0, dot(N, L)) + specular * pow(max(0, dot(R, E)), shininess)

公式的最后一项就是phong算法计算的镜面反射。phong 主要根据材质的diffuse与ambient, specular, shininess来计算着色。

5. blinn 在计算Lambert漫反射的基础上,加上了用blinn-phong算法计算的镜面反射。blinn-phong 的镜面反射光过渡更平滑,效果更真实,也是大多数渲染管线的默认光照模型。

color = ambient * al + diffuse * max(0, dot(N, L)) + specular * pow(max(0, dot(H, N)), shininess)

blinn 依据的材质与 phong 一样,只有计算参数不同。

Configuration of materials

除了设置材质的视觉属性和光照模型,我们还需要确定材质渲染到场景中的规则。比较常用的有以下几个:

transparency & transparencyMode transparencyMode 为 aOne 时,SceneKit 提取 transparent 纹理的alpha通道值作为透明信息。 为 rgbZero 时,提取transparent 纹理的亮度信息作为透明信息。 对于材质上的每一个点,SceneKit通过将transparency与transparent纹理映射点的透明信息相乘,获得最终的像素透明度。transparency控制材质整体的透明度,类似的效果也可以通过控制SCNNode.opacity来获得。

blendMode blendMode指定了材质的像素点在渲染阶段是如何与背景混合的。默认 SCNBlendModeAlpha 模式依据各个混合像素点的alpha值,来确定最终颜色的透明度。比较有用的是SCNBlendModeAdd模式,它指定在混合时,将各个混合像素的颜色相加,这会造成材质的一种半透明感。

writesToDepthBuffer & readsFromDepthBuffer SceneKit 在渲染每个像素点时,会比较像素的深度信息,若在同一位置有多个像素重合,那么只渲染离摄像机最近的那个。深度缓冲技术依靠深度缓冲寄存器,比传统的画家算法要高效很多。这篇文章介绍的很不错

writesToDepthBuffer与readsFromDepthBuffer,前者影响其他物体的绘制,后者影响自己的绘制,相互配合能解决一些比较棘手的问题,如绘制玩家数据时,它应该始终在最上层,所以不用读取深度缓冲。

在某些情况下,也可以用来尝试解决深度冲突问题

最后

材质是决定模型表现最关键的因素,同时也是设计师与程序员能够直接对接的环节。熟练掌握3D渲染的材质相关知识,不仅能沟通起来事半功倍,也能轻度参与到模型的视觉调整中,毕竟看起来舒服的东西才让人更有动力参与。

原创声明,本文系作者授权云+社区-专栏发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Code_iOS

OpenGL ES 2.0 (iOS)[04]:坐标空间 与 OpenGL ES 2 3D空间

第一次变换 模型变换(Model Transforms):就是指从模型空间转换到世界空间的过程

732
来自专栏Petrichor的专栏

深度学习: sliding window (滑动窗口)

sliding window (滑动窗口) 在深度学习中得到了极其广泛的运用。从卷积层到池化层,都能看见它的身影。

853
来自专栏C语言及其他语言

【优质题解】题号1174:【计算直线的交点数】 (C语言描述)

题号1174,原题见下图: ? 解题思路: 将n条直线排成一个序列,直线2和直线1最多只有一个交点,直线3和直线1,2最多有两个交点,……,直线n 和其他n...

2746
来自专栏yl 成长笔记

three.js 相机

图形学中的相机定义了三维空间到二维屏幕的投影方式,根据投影方式的不同,相机可分为 正交投影相机 与 透视投影相机。

572
来自专栏有趣的Python

6- OpenCV+TensorFlow 入门人工智能图像处理-图片移位

2097
来自专栏PPV课数据科学社区

[V课堂]R语言十八讲(七)

? R的画图功能是非常强大的,这非常有利于数据可视化,对于R画图,我们一 般使用三个画图系统,分别是R自带的画图系统,另外还有两个包,他们的画图功能也很强...

2666
来自专栏周明礼的专栏

WebGL,真正进入三维的世界

WebGL真正强大的地方,在于它为我们提供了三维图像的绘制能力。当然这主要的得益于WebGL的计算速度,要知道,绘制三维图形,我们需要进行大量的(逐顶点甚至是逐...

2.9K1
来自专栏大数据文摘

手把手:使用OpenCV进行面部合成— C++ / Python

24012
来自专栏落影的专栏

Metal入门教程(七)天空盒全景

Metal入门教程(一)图片绘制 Metal入门教程(二)三维变换 Metal入门教程(三)摄像头采集渲染 Metal入门教程(四)灰度计算 Metal入门教程...

1272
来自专栏图形学与OpenGL

机械版CG 实验6 简单光照明模型实现

Phong光照明模型是由物体表面上一点P反射到视点的光强I为环境光的反射光强Ie、理想漫反射光强Id、和镜面反射光Is的总和,即

661

扫码关注云+社区