可微分渲染是一个新颖的领域,可帮助计算3D对象的梯度并允许它们在图像中传播,而无需3D数据收集和注释。计算机图形学中的渲染生成3D场景,该场景由几何形状,材质,场景光和相机属性定义。渲染是一个复杂的过程。它的区别不能唯一地定义;因此不可能直接集成到神经网络中。可微分渲染(DR)构成了一系列技术,这些技术通过获取渲染过程的有用梯度来解决端到端优化的这种集成问题。
英伟达(Nvidia)和阿尔托大学(Aalto University)引入了模块化原语,以为基于栅格化的可区分渲染提供高性能的原语操作。所提出的模块化原语使用高度优化的硬件图形管线来提供比以前的可区分渲染系统更好的性能。
提议的方法的重要亮点如下:
图:它显示了不同的可区分渲染系统之间的比较。可扩展性是表面镶嵌和图像分辨率性能,对随机阴影支持的灵活性以及对几何边缘平滑的抗锯齿。遮挡表明覆盖的表面不会影响生成的图像,并且“渐变”考虑渲染图像中渐变的正确性,“ GI”表示全局照明。
拟议的差异化渲染系统提供了自定义的高性能实现,例如
图:一个简单的可区分渲染管线,上面提到的原始操作以红色突出显示,纹理化提供了每个像素的纹理坐标矢量,从表面检索一个值然后将其放置在输出中。
为了评估所提出方法的性能,从ShapeNet数据库中选择了不同三角形计数的网格。然后使用提议的方法和两个基准(Soft Rasterizer和PyTorch3D)以多种分辨率渲染这些图像。实验结果表明,所提出的方法比其他方法需要更少的渲染和渐变时间。而且它提供了更好的可伸缩性。
图:根据渲染,渐变时间和加速因子进行比较
论文:
https://arxiv.org/pdf/2011.03277.pdf
GitHub:
https://github.com/NVlabs/nvdiffrast