首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

ICCV 2023 | 单阶段扩散神经辐射场:3D生成与重建的统一方法

在计算机视觉和图形领域,由于神经渲染和生成模型的进步,三维视觉内容的合成引起了显著关注。尽管出现了许多处理单个任务的方法,例如单视图/多视图三维重建和三维内容生成,但开发一个综合框架来整合多个任务的最新技术仍然是一个主要挑战。例如,神经辐射场(NeRF)在通过每个场景的拟合解决逆向渲染问题方面展示了令人印象深刻的新视图合成结果,这适用于密集视图输入,但难以泛化到稀疏观察。相比之下,许多稀疏视图三维重建方法依赖于前馈图像到三维编码器,但它们无法处理遮挡区域的不确定性并生成清晰的图像。在无条件生成方面,三维感知的生成对抗网络(GAN)在使用单图像鉴别器方面部分受限,这些鉴别器无法推理跨视图关系以有效地从多视图数据中学习。 在这篇论文中,作者通过开发一个全面模型来从多视图图像中学习可泛化的三维先验,提出了一种统一的方法来处理各种三维任务。受到二维扩散模型成功的启发,论文提出了单阶段扩散NeRF(SSDNeRF),它使用三维潜在扩散模型(LDM)来模拟场景潜在代码的生成先验。 虽然类似的LDM已经应用于之前工作中的二维和三维生成,但它们通常需要两阶段训练,其中第一阶段在没有扩散模型的情况下预训练变分自编码器(VAE)或自解码器。然而,在扩散NeRF的情况下,作者认为两阶段训练由于逆向渲染的不确定性特性,特别是在从稀疏视图数据训练时,会在潜在代码中引入噪声模式和伪影,这阻碍了扩散模型有效地学习清晰的潜在流形。为了解决这个问题,论文引入了一种新的单阶段训练范式,使扩散和NeRF权重的端到端学习成为可能。这种方法将生成和渲染偏差协调地融合在一起,整体上提高了性能,并允许在稀疏视图数据上进行训练。此外,论文展示了无条件扩散模型学习到的三维先验可以在测试时从任意观察中灵活地采样用于三维重建。 论文在多个类别单一对象场景的数据集上评估了SSDNeRF,整体展示了强大的性能。论文的方法代表了朝着各种三维任务统一框架的重要一步。总结来说,论文的主要贡献如下:

01
您找到你想要的搜索结果了吗?
是的
没有找到

事后解释VS自解释,牛津CS博士小姐姐134页毕业论文探索神经网络内部构造

机器之心报道 编辑:小舟、杜伟 如何解释深度神经网络对于人工智能的发展具有重要的作用,也吸引了越来越多学界和业界人士的注意。在这篇长达 134 页的博士论文中,一位来自牛津大学的计算机科学博士生对这一课题进行了深入的探讨,带我们走进深度神经网络的世界。 近年来,深度神经网络正在计算机视觉、自然语言处理和语音识别等多种领域发挥着重要作用,推动了人工智能的发展。但是,深度神经网络仍存在一些局限性,例如这些模型的决策过程通常无法向用户解释。 但同时,在医疗、金融、法律等各个领域,了解人工智能系统决策制定背后的原因

01

《编程的智慧(初稿)》读后感

王垠更新了文章,加入了Optional跟Union比较的内容,所以我也来更新一下。垠神认为Optional并没有什么卵用,Java8的Optional我不是很了解,不过看他写的样子,应该是个用了泛型的容器类,而且从他举的例子来看,确实没什么卵用,不管是报NoSuchElementException还是NullPointerException都是运行时错误,的确换汤不换药。至于他说Swift的Optional跟Java是一样的问题么,我觉得还是有待商榷,之前我也说了强制解包语法!是为了兼容OC类库,毕竟Swift这个语言主要还是为了做iOS开发,总是有些历史包袱。如果不滥用!的话,Swift的Optional还是个不错的特性。至于垠神说的在类型外面包一个数据结构会导致程序变得复杂,比如Java的Optional如果要安全使用的话,就得先判空(x.isPresent())再取对象(x.get()),这确实很蛋疼,还不如直接用原先的类型,使用前先判空就是了。想比之下Swift的if let跟guard let就好很多,判空跟取值一步到位,若为空就取不到值,若不为空就直接取值并赋值,干净利落。

02
领券