首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

「全真互联·数字孪生」腾讯多媒体·3D点云系统重磅来袭!

随着5G产业链的进一步成熟,沉浸式媒体技术迎来了发展红利期,点云技术在各类沉浸式媒体解决方案中有着广泛的应用前景,比如VR 看房,数字文博及互动教育等。然而,需求持续增长的背景下,点云建模、压缩、渲染等技术在学术界和工业界却仍有着相当大的挑战: 1 采集设备昂贵、操作复杂 长久以来,三维点云的获取方式主要是依靠LiDAR (激光雷达),结构光深度相机以及双目立体视觉深度相机等,这意味着想要获取点云需要特殊设备支持。另外,对于采集的环境也有较高要求,搭建采集棚工期长,需要耗费大量人力物力财力,操作相对复

02
您找到你想要的搜索结果了吗?
是的
没有找到

重拾非学习的策略:一种新颖的点云配准问题设置

这个工作来自于上海交通大学,发表于CVPR 2022。我们知道,三维点云配准是三维视觉以及点云相关任务中的一个关键课题。早期最具有代表性的三维点云配准的工作是ICP,其根据点匹配估计输入点云的相对位姿。近年来随着深度学习技术的发展进步,基于深度学习的三维点云配准方法成为研究的主流,并随之诞生了DeepVCP、DGR、Predator等著名的方法。但这个工作重新聚焦于非学习的策略,通过聚类策略实现了先进的性能。同时,这个工作提出了一个新颖的点云配准问题设定,称为multi-instance point cloud registration,即同时估计某个instance的源点云与多个目标instance组成的目标点云中的每个instance的相对位姿。

03

携手北京大学、大疆创新,腾讯音视频实验室点云编码技术需求被AVS采纳

2019年6月12日至15日于成都召开的数字音视频编解码技术标准工作组(简称AVS工作组)第六十九次会议上,由腾讯和鹏城实验室联合提案的M4808 AVS点云编码技术需求被工作组采纳,正式成立点云压缩专题组。专题组由腾讯音视频实验室牵头,腾讯音视频实验室联合负责人、腾讯杰出科学家刘杉博士、北京大学数字视频编解码技术国家工程实验室深圳分室负责人李革,大疆创新高级视频编码技术工程师郑萧桢等诸多业内人士联合成立,将于后续开展征集点云应用场景的数据集,定义测试方案,开展验证试验,收集AVS点云编码的佐证,以及征集

03

Transformer是如何进军点云学习领域的?

这个工作来自于牛津大学、中国香港大学、中国香港中文大学和Intel Labs,发表于ICCV2021。我们知道,Transformer在近两年来于各个领域内大放异彩。其最开始是自然语言处理领域的一个强有力的工具。后来,在图像处理领域,Transformer由于其可以感知远距离的像素,从而学习到更全面的特征表示。并且这项工具已经被应用在多个二维图像处理任务中,例如目标检测、语义分割等。而将Transformer应用于三维点云相关的任务是一个必然的趋势。由于三维点云的不规则性和密度多样性,Transformer在点云数据上甚至具有更大的潜力。实际上,在早期的工作中就已经有将Transformer应用到点云相关的任务中,例如DCP利用Transformer对源点云和目标点云的互信息进行建模,实现输入点云对的同时感知。但是,彼时的Transformer并不是一个重点。这篇Point Transformer则是将Transformer应用到点云学习的一个标志性成果,其设计了一个Point Transformer网络,并展现了其在点云点特征提取和全局特征提取的优势作用。这使得这篇论文的工作有着更广阔的应用范围和潜力,为后续很多点云相关任务的研究提供了一个有力的工具和参考。

02

计算机视觉最新进展概览(2021年7月4日到2021年7月10日)

1、Faster-LTN: a neuro-symbolic, end-to-end object detection architecture 图像对象之间的语义关系的检测是图像解释的基本挑战之一。 神经符号技术,如逻辑张量网络(LTNs),允许结合语义知识表示和推理的能力,有效地学习典型的神经网络的例子。 我们在这里提出Faster-LTN,一种由卷积主干和LTN组成的目标检测器。 据我们所知,这是在端到端训练设置中结合这两种框架的第一次尝试。 这个体系结构是通过优化一个有根据的理论来训练的,这个理论以逻辑公理的形式将标记的实例与先验知识结合起来。 实验对比表明,与传统的Faster R-CNN架构相比,该架构具有竞争力的性能。 2、Semi-supervised Learning for Dense Object Detection in Retail Scenes 零售场景的每幅图像通常包含密集的高数量的目标。 标准的目标检测技术使用完全监督的训练方法。 这是非常昂贵的,因为注释一个大型密集的零售目标检测数据集需要比标准数据集多一个数量级的工作。 因此,我们提出了半监督学习来有效地利用零售领域中大量的未标记数据。 我们采用一种流行的自监督方法,即噪声学生最初提出的目标分类的任务,密集的目标检测。 我们表明,使用无标记数据与嘈杂的学生训练方法,我们可以提高在密集的零售场景中精确检测目标的技术水平。 我们还表明,随着未标记数据数量的增加,模型的性能也会增加。 3、On Model Calibration for Long-Tailed Object Detection and Instance Segmentation 普通的目标检测模型和实例分割模型在长尾设置中存在检测频繁目标的严重偏差。 现有的方法主要在训练期间解决这个问题,例如,通过重新抽样或重新加权。 在本文中,我们调查了一个很大程度上被忽视的方法——置信度的后处理校准。 我们提出了NorCal,归一化校准用于长尾目标检测和实例分割,这是一种简单而直接的方法,通过训练样本大小重新衡量每个类的预测分数。 我们表明,单独处理后台类和对每个建议的类上的分数进行规范化是实现卓越性能的关键。 在LVIS数据集上,NorCal可以有效地改进几乎所有的基线模型,不仅在罕见类上,而且在普通类和频繁类上。 最后,我们进行了广泛的分析和消融研究,以提供我们方法的各种建模选择和机制的见解。 4、Neighbor-Vote: Improving Monocular 3D Object Detection through Neighbor Distance Voting 随着摄像头在自动驾驶等新的应用领域的不断应用,对单目图像进行三维目标检测成为视觉场景理解的重要任务。 单眼三维目标检测的最新进展主要依赖于“伪激光雷达”生成,即进行单眼深度估计并将二维像素点提升为伪三维点。 但单目图像深度估计精度不高,导致伪激光雷达点在目标内不可避免地发生位置偏移。 因此,预测的边界框位置不准确,形状变形。 在本文中,我们提出了一种新的邻域投票方法,结合邻域预测来改善严重变形的伪激光雷达点云的目标检测。 具体来说,物体周围的每个特征点形成各自的预测,然后通过投票实现“共识”。 这样可以有效地将邻居预测与局部预测相结合,实现更准确的三维检测。 为了进一步放大前景感兴趣区域(foreground region of interest, ROI)伪激光雷达点与背景点之间的差异,我们还将二维前景像素的ROI预测得分编码为相应的伪激光雷达点。 我们在KITTI基准上进行了大量的实验,以验证我们提出的方法的优点。 我们的鸟瞰图检测结果在很大程度上超过了最先进的性能,特别是“硬”水平检测。 5、VIN: Voxel-based Implicit Network for Joint 3D Object Detection and Segmentation for Lidars 提出了一种统一的神经网络结构用于三维目标检测和点云分割。 我们利用丰富的监督,从检测和分割标签,而不是只使用其中之一。 此外,基于隐式函数在三维场景和物体理解中的广泛应用,提出了一种基于单级目标检测器的扩展方法。 扩展分支以目标检测模块的最终特征图为输入,生成隐式函数,为每个点对应体素中心生成语义分布。 我们在一个大型户外数据集nuScenes-lidarseg上演示了我们的结构的性能。 我们的解决方案在三维目标检测和点云分割方面取得了与先进方法相竞争的结果,与目标检测解决方案相比,我们的附加计算负荷很小。 实验结果表明,该方法具有较好的弱监督语义切分能力。

04

Improving 3D Object Detection with Channel-wise Transformer

尽管近年来点云三维物体检测取得了快速进展,但缺乏灵活和高性能的建议细化仍然是现有最先进的两级检测器的一大障碍。 之前的3D建议精炼工作依赖于人为设计的组件,如关键点采样、集合抽象和多尺度特征融合,以产生强大的3D目标表示。 然而,这些方法捕获点之间丰富的上下文依赖关系的能力有限。 在本文中,我们利用高质量的区域提议网络和一个Channel-wise Transformer架构,以最少的手工设计构成了我们的两阶段3D目标检测框架(CT3D)。 建议的CT3D同时对每个建议中的点特征执行提议感知的嵌入和信道上下文聚合。 具体来说,CT3D利用建议的关键点进行空间情境建模,并在编码模块中学习注意力传播,将建议映射到点嵌入。 接下来,一个新的信通道译码模块通过通道重加权有效地合并多级上下文来丰富查询键交互,这有助于实现更准确的目标预测。 大量实验表明,我们的CT3D方法具有良好的性能和可扩展性。 值得一提的是,在KITTI测试3D检测基准上,CT3D在中型车类别中实现了81.77%的AP,优于最先进的3D检测器。

02
领券