首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

用于实时 3D 重建的深度和法线的高速同测量

物体的 3D 形状测量有许多应用领域,如机器人,3D接口、存档和复制等,而 3D 扫描仪已经商用。尽管如此,现存大多数 3D 形状测量系统捕获多个子帧,来测量单个深度图或单个点云,帧速率仅为 30 fps。这种方法在测量动态对象时,系统可能会因子帧之间的模糊或位移而导致噪声和误差。因此,需要单帧高速测量方法来处理移动或变形的目标,例如传送带上的产品、手势和非刚体。另一方面,在仅具有单帧的基于三角测量的方法中,测量的 3D 点云将是稀疏的,因为它难以获得密集的对应关系。而在使用飞行时间 (ToF)相机的情况下,由于散粒噪声,单帧深度的精度也相对较低。因此,为了实现对动态物体的密集、准确和高速的 3D 形状测量,不仅需要简单地在单帧中加速过程,还需要用别的方式提升测量精度和效率。

03

P2C-自监督点云补全,只需用单一部分点云

点云补全是指根据部分点云恢复完整的点云形状。现有方法需要完整的点云或同一对象的多个部分点云来进行训练。与以前的方法形成对比,本论文提出的Partial2Complete (P2C)第一个仅需要每个对象的单个不完整点云就可以进行自监督学习的框架。具体而言,我们的框架将不完整点云分组为局部点云块作为输入,预测被遮挡的点云块,通过观察不同的局部对象学习先验信息。我们还提出了区域敏感Chamfer距离以正则化形状误匹配,不限制补全能力,并设计了法线一致性约束,鼓励恢复的形状表面连续完整。这样,P2C不再需要完整形状作为监督,而是从类别特定数据集中学习结构线索,补全部分点云。我们在人工ShapeNet数据和真实ScanNet数据上证明了我们方法的有效性,结果显示P2C产生了与完整形状训练方法可媲美的结果,并优于多视角训练的方法。

02

2D-Driven 3D Object Detection in RGB-D Images

在本文中,我们提出了一种在RGB-D场景中,在目标周围放置三维包围框的技术。我们的方法充分利用二维信息,利用最先进的二维目标检测技术,快速减少三维搜索空间。然后,我们使用3D信息来定位、放置和对目标周围的包围框进行评分。我们使用之前利用常规信息的技术,独立地估计每个目标的方向。三维物体的位置和大小是用多层感知器(MLP)学习的。在最后一个步骤中,我们根据场景中的目标类关系改进我们的检测。最先进的检测方法相比,操作几乎完全在稀疏的3D域,在著名的SUN RGB-D实验数据集表明,我们建议的方法要快得多(4.1 s /图像)RGB-D图像中的3目标检测和执行更好的地图(3)高于慢是4.7倍的最先进的方法和相对慢两个数量级的方法。这一工作提示我们应该进一步研究3D中2D驱动的目标检测,特别是在3D输入稀疏的情况下。

03
领券