专栏首页郭艺帆的专栏ARKit 进阶:材质
原创

ARKit 进阶:材质

Scenekit lights and materials

光照与材质,是决定3D世界中的模型如何渲染的关键参数。许多时候模型的渲染对与不对,往往只是一种视觉的感受。由于不是测试驱动的,所以多数情况下,考验的不是你的逻辑,而是不断调试到理想的效果。熟悉光照与材质的着色方式,能够快速定位与解决问题。

Materials

材质指定了引擎如何在渲染阶段对几何体的每个像素着色。 SceneKit 中,每个SCNMaterial有八个决定视觉感官的属性(SCNMaterialProperty),其实就是3D建模时的光照贴图,当然每个属性也可以设置成纯色。SCNMaterial是可以复用的,但是要更改时,如果不想影响到其他模型,最好先复制一份。

Order of materials

有人对 SceneKit 的每个几何体都可以拥有一组材质不理解。他们是用来对几何体子元素着色的。如果几何体的子元素与材质数量对应,那么二者的索引是一一对应的。这里的子元素,一般就是引擎根据几何体顶点算出的多边形面。

例如有一个box,那么显然它是由6个多边形面,如果 box.materials 有6个材质,那么每个面就应用对应的材质。几何体的子元素引用顺序是固定的,对于这个box,多边形引用顺序是 front -> right -> back -> left -> top -> bottom。如果我们需要这个box只有顶面与底面显示,其他面隐藏,就可以这么设置:

self.boxGeometry.materials = @[transparentMaterial, transparentMaterial, 
transparentMaterial, transparentMaterial, topMaterial, bottomMaterial];

如果材质与子元素的数量不匹配,那么按照求余的方式去映射。

elements[index] <-> materials[index % numOfMaterial]

Appearance of Material

材质的表现由它的视觉属性决定,它们都是SCNMaterialProperty对象。SceneKit在渲染场景时,就是依据视觉属性与光照来决定最终的像素颜色。

Material property

材质所拥有的一组SCNMaterialProperty,被称为视觉属性,它们决定了材质“长什么样”。SCNMaterialProperty.content可以是纯色(相当于提供纯色纹理)也可以是纹理, 或者数字(主要用于 roughness 等 physicallyBased 模式的属性)。当内容是纹理时,SceneKit会采用纹理映射的方式采样相应的点作为材质属性。 纹理的读取源有以下四种:

  1. UIImage
  2. 全景格式的图像,如cube images(六张图像)
  3. CALayer
  4. SpriteKit scene
  5. SKTexture, MDLTexture, MTLTexture, GLKTextureInfo

SceneKit cannot use a layer that is already being displayed elsewhere (for example, the backing layer of a UIView object).

在使用CALayer作为内容时,如果是UIView.layer并且该UIView已经添加到其他层级中,那么内容会为空。

visual properties

当渲染材质时,由材质的光照模型lightModel确定要用到的视觉属性(diffuse/specular/normal),再配合场景中的光照,计算出每个点的颜色。

  • diffuse

diffuse 指定了材质对光照的漫反射。人眼看到物体,实际上人眼接收到物体的漫反射光。所以diffuse实际上是物理的基本样貌,任何光照模型都会用到diffuse这个最基本属性。

图:diffuse

  • ambient

ambient指定了材质对环境光的漫反射。一般情况下,diffuse已经包含环境光与方向光的漫反射,当locksAmbientWithDiffuse为NO时,ambient才会生效。这个属性只有在想突出环境光的情况下才会用到,一般diffuse已经足够,且效率更高。

图:ambient

  • specular

specular指定了材质的镜面反射,,用来表现材质的光滑程度。这个很好理解,漫反射是对各个方向的反射光,而镜面反射的角度一般不超过90度,角度越小看着越光滑。不管是 phong 还是 blinn-phong 光照模型,镜面反射都与材质的shininess相关, shinness越大,反射效果对比度越高,类似玻璃反射。

specular map 的亮度与材质的光滑程度成正比,specualr默认是纯黑色,即全粗糙表面。

图:specular

  • normal

normal指定了材质表面每个点的法线方向,在处理光照时,会根据normal计算阴影。

在光滑的表面,normal提供了一种假的几何凸起,而不用去增加几何复杂度。在 normal map 时,normal纹理的 R, G, B, 就是材质对应点法向量的X, Y, Z。当normal是纯色时,normal map 会自动失效。

图: normal

  • reflective

relective指定了材质对周围环境的反射。例如在树林里和在房间里,材质表面的反射效果应该是不同的,树林的环境下材质会泛绿。relective就用来做这件事,只需要将relective.content赋值为周围环境的图像。

图:reflective

  • emission

emission指定了材质表面发光(亮度较高)的位置。emission并不能让材质发光,只不过在计算光照是,emission 纹理中较亮的点不会参与到光照计算中,使这些点在阴暗的环境下显得更亮一些。emission默认是纯黑色,相当于提供了纯黑的纹理,emission无效。

图:emission

  • transparent

transparent指定了材质表面每个点的透明度。不同于transparency控制整个材质的透明度,transparent精准地控制每个点,其透明度等于 transparent 纹理的像素点 alpha 值。

图:transparent

  • multiply

multiply的内容,会在材质渲染完成之后,叠加在材质之上。multiply默认无效,内容是纯白色。

图: multiply

  • ambientOcclusion

ambientOcclusion,环境光遮蔽是一项用于提高模型细节的技术。由于环境光是不产生阴影的,引擎只会渲染方向光的阴影,这使得细节比较复杂的模型表现是真。传统的环境光是依靠射线追踪实现的,由于要处理每一个点,这种技术非常耗时。对于静态的模型,我们可以设置已经计算好的环境光遮蔽图,这样既能够有良好的细节,又不会造成大的性能损耗。

图:ambient occlusion

  • Physically based properties

以下几个属性,只有 physicallyBased 光照模型下的材质才有用,它们的效果比传统的光照模型更真实,值得多多尝试。

  • selfIllumination

selfIllumination 能会覆盖物体的亮度计算结果, 能让材质自己定义表面的亮度。在昏暗的环境下,模型由于不在光照范围可能会模糊不清,这时使用selfIllumination可以调节模型的亮度。

  • metalness

metalness 顾名思义,用来模拟材质表面的金属感。metalness 纹理的亮度决定材质的金属感,越亮越像金属。在设置 SCNScene.lightingEnvironment 后,引擎会根据真实的反射、折射参数去模拟金属表面的反光,效果很棒。

图:metalness

  • roughness roughness 与 specular 相似,用来表现模型表面的光滑程度。roughness 的计算规则是模拟真实世界的物理参数,与specular相比少了一些塑料感。roughness 纹理的亮度决定越粗糙,越亮越粗糙。

Light model of material

材质的光照模型,决定光照如何参与到材质的着色计算中。对于没有特殊需要的模型,SceneKit team 推荐使用physicallyBased,它能根据实时的场景变化渲染出更加真实的效果。

SceneKit支持五种光照模型:

1. constant 在计算模型表面的颜色时,只考虑环境光。在我们不需要模型的self-shadows时,可以将模型设置成constant model。相关问题

2. physicallyBased 根据真实世界的光照与材质效果,渲染模型表面。physicallyBased 的算法对于lighting environment的反射效果非常好,尤其是金属材质能以假乱真。 physicallyBased 主要根据材质的 diffuse ,roughness, metalness ,ambientOcclusion来计算着色。

3. lambert 根据lambert算法渲染模型表面,只考虑环境光与方向光在模型表面产生的漫反射。

color = ambient * al + diffuse * max(0, dot(N, L))

算法的公式就是将两种不同光的漫反射效果相加,lambert 主要根据材质的diffuse与ambient来计算着色。

4. phong 在计算Lambert漫反射的基础上,加上了用phong算法计算的镜面反射。

color = ambient * al + diffuse * max(0, dot(N, L)) + specular * pow(max(0, dot(R, E)), shininess)

公式的最后一项就是phong算法计算的镜面反射。phong 主要根据材质的diffuse与ambient, specular, shininess来计算着色。

5. blinn 在计算Lambert漫反射的基础上,加上了用blinn-phong算法计算的镜面反射。blinn-phong 的镜面反射光过渡更平滑,效果更真实,也是大多数渲染管线的默认光照模型。

color = ambient * al + diffuse * max(0, dot(N, L)) + specular * pow(max(0, dot(H, N)), shininess)

blinn 依据的材质与 phong 一样,只有计算参数不同。

Configuration of materials

除了设置材质的视觉属性和光照模型,我们还需要确定材质渲染到场景中的规则。比较常用的有以下几个:

transparency & transparencyMode transparencyMode 为 aOne 时,SceneKit 提取 transparent 纹理的alpha通道值作为透明信息。 为 rgbZero 时,提取transparent 纹理的亮度信息作为透明信息。 对于材质上的每一个点,SceneKit通过将transparency与transparent纹理映射点的透明信息相乘,获得最终的像素透明度。transparency控制材质整体的透明度,类似的效果也可以通过控制SCNNode.opacity来获得。

blendMode blendMode指定了材质的像素点在渲染阶段是如何与背景混合的。默认 SCNBlendModeAlpha 模式依据各个混合像素点的alpha值,来确定最终颜色的透明度。比较有用的是SCNBlendModeAdd模式,它指定在混合时,将各个混合像素的颜色相加,这会造成材质的一种半透明感。

writesToDepthBuffer & readsFromDepthBuffer SceneKit 在渲染每个像素点时,会比较像素的深度信息,若在同一位置有多个像素重合,那么只渲染离摄像机最近的那个。深度缓冲技术依靠深度缓冲寄存器,比传统的画家算法要高效很多。这篇文章介绍的很不错

writesToDepthBuffer与readsFromDepthBuffer,前者影响其他物体的绘制,后者影响自己的绘制,相互配合能解决一些比较棘手的问题,如绘制玩家数据时,它应该始终在最上层,所以不用读取深度缓冲。

在某些情况下,也可以用来尝试解决深度冲突问题

最后

材质是决定模型表现最关键的因素,同时也是设计师与程序员能够直接对接的环节。熟练掌握3D渲染的材质相关知识,不仅能沟通起来事半功倍,也能轻度参与到模型的视觉调整中,毕竟看起来舒服的东西才让人更有动力参与。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 庖丁解牛:GIF

    GIF 是一种使用 LZW 压缩,支持多张图像的容器。支持256色,透明通道为1bit。作为互联网表情包的载体,GIF 这项80年代的技术依然生生不息。

    郭艺帆
  • ARKit 进阶:物理世界

    ARKit的渲染能力是由其他框架实现的,除了苹果的SceneKit, Unity3D、UE, 或者其他自定义的OpenGL、Metal渲染引擎都可以与ARKit...

    郭艺帆
  • 到底有多强?苹果的增强现实框架:ARKit

    本篇文章重在 workShop 上苹果工程师的解惑和我对 ARKit 的理解, 最后会简单介绍一下相关技术。

    郭艺帆
  • 视频 | AI实时生成材质,效果直逼好莱坞大片

    我们的卷积神经网络可以提供这些图像的实时预测结果,这些预测与真正的渲染图像难以分辨,并且实时生成。

    AI科技评论
  • three.js 材质

    今天郭先生说一说three.js的材质。材质描述了对象objects的外观。它们的定义方式与渲染器无关, 因此,如果您决定使用不同的渲染器,不必重写材质。

    郭先生的博客
  • 如何在 Creator3D 中切换模型贴图,超级简单

    前两天有伙伴在 QQ 上询问,如何在 Creator 3D 中切换模型贴图。Shawn 之前也没尝试过,不过根据之前 Cocos Creator 的经验以及这几...

    张晓衡
  • Material小结 2.0

    刚刚看了‘Path Tracing in Production’,里面提到了Weta digital的Manuka材质系统,在这里总结一下,算是对之前Mater...

    Peter Lu
  • ZAM 3D入门教程(8):Zam3D中

    在Zam 3D是世界里,我们使用材质来描述颜色。不同于二维世界中的矢量图形,在Zam 3D中,我们可以使用灯光、是否平滑等来控制我们的对象的表面。

    py3study
  • AI 实时生成材质,效果直逼好莱坞大片

    如果你要使用 Principled Shader 通过手动方式创建不同材质上逼真的光影效果,使用者必须对大量的材质参数进行手动微调,并且在每次设置后等待图片渲染...

    AI研习社
  • Hanlp实战HMM-Viterbi角色标注中国人名识别

    这几天写完了人名识别模块,与分词放到一起形成了两层隐马模型。虽然在算法或模型上没有什么新意,但是胜在训练语料比较新,对质量把关比较严,实测效果很满意。比如这句真...

    IT小白龙

扫码关注云+社区

领取腾讯云代金券