首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

使用扩散模型从文本提示中生成3D点云

虽然最近关于根据文本提示生成 3D点云的工作已经显示出可喜的结果,但最先进的方法通常需要多个 GPU 小时来生成单个样本。这与最先进的生成图像模型形成鲜明对比,后者在几秒或几分钟内生成样本。在本文中,我们探索了一种用于生成 3D 对象的替代方法,该方法仅需 1-2 分钟即可在单个 GPU 上生成 3D 模型。我们的方法首先使用文本到图像的扩散模型生成单个合成视图,然后使用以生成的图像为条件的第二个扩散模型生成 3D 点云。虽然我们的方法在样本质量方面仍未达到最先进的水平,但它的采样速度要快一到两个数量级,为某些用例提供了实际的权衡。我们在 https://github.com/openai/point-e 上发布了我们预训练的点云扩散模型,以及评估代码和模型。

03

「全真互联·数字孪生」腾讯多媒体·3D点云系统重磅来袭!

随着5G产业链的进一步成熟,沉浸式媒体技术迎来了发展红利期,点云技术在各类沉浸式媒体解决方案中有着广泛的应用前景,比如VR 看房,数字文博及互动教育等。然而,需求持续增长的背景下,点云建模、压缩、渲染等技术在学术界和工业界却仍有着相当大的挑战: 1 采集设备昂贵、操作复杂 长久以来,三维点云的获取方式主要是依靠LiDAR (激光雷达),结构光深度相机以及双目立体视觉深度相机等,这意味着想要获取点云需要特殊设备支持。另外,对于采集的环境也有较高要求,搭建采集棚工期长,需要耗费大量人力物力财力,操作相对复

02

一组照片渲染出3D视频,单像素点实时渲染火了,网友:在家也能制作3A游戏了?

机器之心报道 编辑:杜伟、陈萍 合成视频达到了新的高度,来自德国埃尔朗根 - 纽伦堡大学的研究者提出了一种新的场景合成方法,使合成视频更接近现实。 合成逼真的虚拟环境是计算机图形学和计算机视觉中研究最多的主题之一,它们所面临是一个重要问题是 3D 形状应该如何编码和存储在内存中。用户通常在三角形网格、体素网格、隐函数和点云之间进行选择。每种表示法都有不同的优点和缺点。为了有效渲染不透明表面,通常会选择三角形网格,体素网格常用于体绘制,而隐函数可用于精确描述非线性分析表面,另一方面,点云具有易于使用的优点,因

01

AAAI 2024 | 深度引导的快速鲁棒点云融合的稀疏 NeRF

具有稀疏输入视图的新视角合成方法对于AR/VR和自动驾驶等实际应用非常重要。大量该领域的工作已经将深度信息集成到用于稀疏输入合成的NeRF中,利用深度先验协助几何和空间理解。然而,大多数现有的工作往往忽略了深度图的不准确性,或者只进行了粗糙处理,限制了合成效果。此外,现有的深度感知NeRF很少使用深度信息来创建更快的NeRF,总体时间效率较低。为了应对上述问题,引入了一种针对稀疏输入视图量身定制的深度引导鲁棒快速点云融合NeRF。这是点云融合与NeRF体积渲染的首次集成。具体来说,受TensoRF的启发,将辐射场视为一个的特征体素网格,由一系列向量和矩阵来描述,这些向量和矩阵沿着各自的坐标轴分别表示场景外观和几何结构。特征网格可以自然地被视为4D张量,其中其三个模式对应于网格的XYZ轴,第四个模式表示特征通道维度。利用稀疏输入RGB-D图像和相机参数,我们将每个输入视图的2D像素映射到3D空间,以生成每个视图的点云。随后,将深度值转换为密度,并利用两组不同的矩阵和向量将深度和颜色信息编码到体素网格中。可以从特征中解码体积密度和视图相关颜色,从而促进体积辐射场渲染。聚合来自每个输入视图的点云,以组合整个场景的融合点云。每个体素通过参考这个融合的点云来确定其在场景中的密度和外观。

01
领券