编辑:Lumina 润
人工智能正在改变世界,图形计算这块也不例外。
五年前,英伟达推出了DLSS技术,通过每个GeForce RTX GPU中的Tensor Core实现神经渲染来提高性能,在图形领域带来了速度更快、图像质量更高的图形处理革命。
从那时起,DLSS背后的Al模型就在不断学习新的功能,如「帧生成」(Frame Generation),不仅将渲染速度提高了4倍,还获得了出色的图像质量。
今天,英伟达推出了NVIDIA DLSS 3.5,再次推动了渲染技术的发展。
这是一种全新的AI模型,采用了光线重建(Ray Reconstruction)技术,能为密集型光追游戏和应用程序,创建更高质量的光追图像。
而且,因为DLSS 3.5之中的光线重建技术本身不依赖硬件,所以老的RTX系列的显卡也能享受到这项技术升级。
不得不说黄老板还是厚道呀。
举个栗子,RTX 4060可以享受到目前DLSS技术中的「SR+FG+RR」;RTX 2060可以享受到「SR+RR」。
那我们现在就再来看看光线重构(RR)技术的原理具体是什么样的。
工作原理
为了了解光线重建的好处,我们需要了解光线追踪图像的原理。
光线追踪是一种图形渲染方法,可以模拟光线的物理行为。
首先,游戏引擎生成了场景的几何形状和材质,它们都具有物理属性,会影响它们的外观以及光线与它们的交互方式。
从摄像机的视角来拍摄光线样本,能够确定场景中光源的属性以及光线照射到材料上时的反应。例如,如果光线照射到镜子上,就会产生反射。
但如果为屏幕上的每个像素发射光线,在计算上就太过耗时。
即使是对需要数分钟或数小时计算场景的离线渲染器来说,也是如此。
因此,必须使用光线样本,即能在场景的各个点发射少量光线,以获取场景光照、反射和阴影的代表性样本。
它可以输出一个带有噪点和空白间隙的图像,来确定在光线追踪时场景应该如何呈现。
为了填补未经光线追踪的缺失像素,手动调整的降噪器使用了两种不同的方法:
一种是在时间上累积多个帧的像素,另一种是在空间上进行插值,将相邻像素混合在一起。
通过这一过程,嘈杂的原始输出被转换成光线追踪图像。
这些手动调整的降噪器,需要为场景中每种类型的光线追踪光照进行人工调整和处理。
这增加了开发过程中的复杂性,也提高了成本。
在高度光线追踪的游戏中,如果让多个降噪器同时运行以最大化图像质量,还会降低帧率。
每个手动调整的降噪器,会从多个帧中积累像素以增加细节,这实际上是从过去「窃取」了光线。
但是,这样做也有可能会引入重影、消除动态效果,或者降低其他效果的质量。
它还能插入相邻像素,并将这些信息混合在一起。
但这样做的风险可能会导致混合掉过多的详细信息,或者混合不足,产生不均匀的光照效果。
升频是光线追踪照明流水线的最后一个阶段,也是在快速帧速率下体验最精细、要求最高的游戏的关键。
但是由于降噪处理会移除或减少效果的质量,手动调整的降噪器的局限性会被放大,这会削弱许多细节(也称为高频信息)。
而这些细节,是就超分辨率技术用来输出清晰、干净图像的关键。
为此,英伟达提出的解决方案,就是DLSS 3.5。
他们的最大创新在于光线重建,这是一个增强版AI驱动的神经渲染器,用经过NVIDIA超算训练的AI网络,替代了手动调整的降噪器。
这样就在采样的光线之间生成了更高质量的像素,从而提高了所有GeForce RTX GPU的光追图像质量。
DLSS 3.5的训练数据比DLSS 3多了5倍,因此它能够识别不同的光追效果,以更智能的方式决定如何使用时间和空间数据,并保留高频信息,从而实现优质超分辨率。
离线渲染图像所需的计算能力远高于实时游戏所需的计算能力,而光线重构技术可从训练数据中识别光照模式,如全局光照或环境遮挡,并在游戏中边玩边重现。
这个结果优于使用手动调整的降噪器。
在支持RTX的《传送门》中,当DLSS关闭时,降噪器在空间插值方面会出现问题,无法混合足够的像素,从而产生斑点效果。
此外,它也没有从以前的帧中积累足够的好像素,导致在光线下会出现沸腾效果。
有了DLSS 3.5后,它就能识别与反射相关的某些模式,并保持图像稳定,积累精确像素、同时混合相邻像素,生成高质量的反射效果。
在以下《赛博朋克2077》的场景中,围绕汽车的车头灯照明效果不准确。这是由于手动调整的降噪器从之前帧中提取了不准确的光照效果。
而DLSS 3.5能够准确生成光照效果。我们不仅可以清楚地看到车头灯的光束,还能够看到光线在汽车前方路缘上的反射。
《赛博朋克2077》中的夜之城街道上充满了来自旋转广告牌和霓虹灯的反射。
通过启用DLSS 3.5,这些反射的质量和清晰度会在整个城市范围内得到极大的提升。
另外,各种创意应用对传统降噪器来说也是一个挑战。因为它们需要根据每个场景进行手动调整,所以在预览内容时,图像质量会不够理想。
而有了DLSS 3.5,AI神经网络就能够识别各种各样的场景,在预览和最终渲染之前生成高质量的图像。
此外,D5 Render是一个面向建筑师和设计师的先进应用程序,它将于今年秋季与DLSS 3.5一同推出。
得益于RTX技术,现在我们在PC或笔记本上就能拥有两台计算机的动力。
第一台是英伟达超算,它用数十亿个数据点对DLSS AI模型进行训练,以提升性能和图像质量。
第二台就是GeForce RTX显卡,它专用的张量核心可以实时运行AI模型,而专门的RT核心、创新技术(如着色器执行重排序)以及每个RTX GPU的强大性能,都保证了一流的光追效果。
在《赛博朋克2077》中,超频模式提供的全光追效果离不开AI的支持。
DLSS超分辨率(SR)能够从较低分辨率的输入中重建4K图像,带来显著的性能提升和出色的图像质量。
另外,英伟达还在GeForce RTX 40系列GPU上启用了DLSS帧生成(FG),它可以分析连续帧来创建额外帧,从而进一步提高流畅度。
因此,即使是在要求最苛刻、动作最密集的时刻,也能进一步提高性能。
NVIDIA DLSS 3.5还通过用光线重建替代了多个手动调整的降噪器,进一步提升了光追效果的图像质量。
通过结合超分辨率、帧生成和光线重建,与原生4K DLSS关闭渲染相比,DLSS 3.5将《赛博朋克2077》的帧率提高了5倍。
需要注意的是,具有多个光追效果的游戏可能有多个降噪器,而这些降噪器将被单一的光线重建神经网络所取代。
在这种情况下,光线重建也可以提供性能提升。对于光追较少、降噪器较少的游戏,光线重建可以提高图像质量,但可能会略微降低性能。
GeForce RTX 40系列用户可以将超分辨率和帧生成与光线重建相结合,从而获得令人惊叹的性能和图像质量。
而GeForce RTX 20和30系列用户,则可以在超分辨率和DLAA的基础上,将光线重建添加到AI强化工具中。
光线重建是开发人员提高光追游戏图像质量的新选择,也是DLSS 3.5的一部分。
采用DLSS 3.5的光栅化游戏,还包括我们最新超分辨率和DLAA更新,但由于缺乏光追效果,它们从光线重建中受益。
今年秋天,这些游戏就支持DLSS 3.5了
NVIDIA DLSS 3.5将于今年秋季在以下游戏和软件中推出——
《艾伦·沃克2》、《赛博朋克2077:自由幻影》、《传送门》、Chaos Vantage、D5 Render和NVIDIA Omniverse。
参考资料:
https://blogs.nvidia.com/blog/2023/08/22/dlss-ai-rtx-remix-half-life-d5-render-chaos-vantage/