首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

【综述】【点云算法】纽约大学&Uber汇总108篇参考文献,概述了自动驾驶的3D点云处理算法

本文对自动驾驶中的3D点云处理和学习进行了综述。LiDAR传感器是自动驾驶车辆中最重要的传感器之一,它采集3D点云,精确的记录物体和场景的外表面。3D点云处理和学习工具对于自动驾驶车辆中的地图创建、定位和感知模块至关重要。在目前研究者关注从摄像机中采集到的图像、视频等数据的同时,已经有越来越多的研究者认识到LiDAR在自动驾驶中的重要性和意义,提出了基于3D点云的处理和学习算法。本文回顾了该研究领域的最新进展,总结了目前自动驾驶领域已经尝试使用的和需要的使用的实用方法。本文还提供了未来需要解决的开放问题的一些观点。

02
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    缩小LiDAR点云语义分割中的域差异

    在开发自动驾驶汽车的激烈竞争中,激光雷达(LiDAR),这种类似雷达的激光系统,已经成为最关键的硬件组件之一。激光雷达系统生成精确且对计算机友好的点云数据作为3D 世界地图,以改进自动驾驶汽车的感知和安全性。然而,激光雷达点云的语义分割这个重要任务仍然是AI研究人员的重大挑战。标注3D点云数据的缺乏阻碍了深层神经网络在语义分割任务上的进一步性能提高。尽管一些自动驾驶公司已经发布了一些数据集,但是激光雷达传感器的不同配置和其他领域的差异不可避免地导致了在一个数据集上训练的深度网络不能在其它数据集上表现良好的问题。为了弥补激光雷达传感器中3D点云采样的差异所造成的域差异,谷歌的一个研究小组最近提出了一种新颖的“完全标记”域适应方法。

    02

    什么是LIDAR(激光雷达),如何标注激光点云数据?

    自动驾驶汽车严重依赖输入的训练数据来做出驾驶决策,从逻辑上来说,数据越详细,车辆做出决策就越好,最重要的是更安全。虽然现代相机可以捕捉到非常详细的真实世界特征,但输出结果仍然是2D的,效果并不够理想,因为它限制了我们可以提供给自动驾驶汽车神经网络的信息,这意味着汽车必须学会对3D世界做出猜测。与此同时,相机捕捉信息的能力有限,比如在下雨的时候,相机捕捉到的图像几乎无法辨别,而激光雷达仍然可以捕捉信息。因此,2D相机无法在所有环境下工作,由于自动驾驶汽车是神经网络一个高危应用场景,我们必须确保构建的网络尽可能完美,这一切要从数据说起。理想情况下,我们希望我们的网络将3D数据作为输入,因为它需要对3D世界进行预测,这就是激光雷达的用武之地。

    05

    计算机视觉最新进展概览(2021年6月20日到2021年6月26日)

    1、3D Object Detection for Autonomous Driving: A Survey 自动驾驶被认为是保护人类免遭严重车祸的最有前途的方法之一。 为此,三维目标检测是感知系统的核心基础,特别是在路径规划、运动预测、避碰等方面。 一般来说,立体或单目图像中相应的三维点云已经是三维目标检测的标准布局,随着提供准确的深度信息,点云越来越普遍。 尽管已有的努力,点云上的3D目标检测仍然处于起步阶段,原因是点云本质上高度稀疏和不规则,相机视图和激光雷达鸟瞰图之间的不对齐视图的模态协同,遮挡和规模变化在长距离等。 近年来,在三维目标检测方面取得了深刻的进展,有大量的文献正在研究这一视觉任务。 因此,我们将全面回顾该领域的最新进展,涵盖所有主要主题,包括传感器、基本原理和最新的最先进的检测方法及其优缺点。此外,我们将介绍度量并提供流行公共数据集的定量比较。 未来工作的途径将在对调查工作进行深入分析后审慎地确定。 最后,对本文进行了总结。 2、One Million Scenes for Autonomous Driving: ONCE Dataset 当前的自动驾驶感知模型因严重依赖大量注释数据来覆盖不可见的案例和解决长尾问题而臭名昭著。 另一方面,从未标记的大规模收集数据中学习、逐步自我训练的强大识别模型越来越受到关注,可能成为下一代行业级强大、鲁棒的自动驾驶感知模型的解决方案。 然而,研究领域普遍存在着现实场景中必不可少的数据不足的问题,这阻碍了未来全/半/自我监督的三维感知方法的探索。 在本文中,我们介绍了用于自动驾驶场景的三维目标检测的ONCE(一百万场景)数据集。 ONCE数据集包括100万个激光雷达场景和700万个相应的相机图像。 数据来自144个驾驶小时,比现有最大的3D自动驾驶数据集(如nuScenes和Waymo)长20倍,数据来自不同的地区、时间段和天气条件。 为了便于未来利用无标记数据进行3D检测的研究,我们另外提供了一个基准,在此基准上我们在ONCE数据集上再现和评估各种自我监督和半监督方法。 我们对这些方法进行了广泛的分析,并提供了与使用数据规模相关的有价值的观察结果。 3、SODA10M: Towards Large-Scale Object Detection Benchmark for Autonomous Driving 为了促进一个真实的、不断发展和可扩展的自动驾驶系统,我们提出了一个大规模的基准,通过学习原始数据,对不同的自我监督和半监督方法进行标准化评估,这是迄今为止第一个也是最大的基准。 现有的自动驾驶系统严重依赖“完美的”视觉感知模型(如检测),这些模型使用大量标注数据进行训练,以确保安全。 然而,在部署一个强大的自动驾驶系统时,要对所有场景和环境(例如夜晚、极端天气、城市)都精心标注是不现实的。 基于自监督和半监督学习的强大发展,通过协同开发大规模无标记数据和少量标记数据学习鲁棒检测模型是一个很有前途的方向。 现有的数据集(如KITTI、Waymo)要么只提供少量的数据,要么覆盖了有限的领域,并进行了完整的注释,阻碍了对大规模预训练模型的探索。 在这里,我们发布了一个用于自动驾驶的大规模目标检测基准,名为SODA10M,包含1000万张未标记图像和20K张标记了6个代表性目标类别的图像。 为了提高多样性,图像每10秒采集一次,在32个不同的城市中,在不同的天气条件下,时间段和场景。 我们提供了广泛的实验和深入的分析现有的监督的最先进的检测模型,流行的自我监督和半监督方法,以及一些关于如何开发未来的模型的见解。 4、MODETR: Moving Object Detection with Transformers 运动目标检测(MOD)是自动驾驶系统的一项重要任务。 MOD通常通过融合了外观和运动线索的双流卷积结构处理,而没有考虑空间或运动特征之间的相互关系。 在本文中,我们通过跨越空间流和运动流的多头注意机制来解决这个问题。 我们建议MODETR; 一个运动物体检测Transformer网络,包括空间和运动形态的多流变压器编码器,和一个物体变压器解码器,使用集合预测产生运动物体的边界盒。 整个体系结构使用双向损耗进行端到端训练。 本文探讨了将运动线索与Transformer模型结合的几种方法,包括双流RGB和光流方法,以及利用序列信息的多流体系结构。 为了整合时间信息,我们提出了一种新的时间位置编码(TPE)方法来扩展空间位置编码(SPE)。 我们将为此探索两种架构选择,即在速度和时间之间实现平衡。 为了评估我们的网络,我们在KITTI MOD[6]数据集上执行MOD任务。 结果表明,显著的5%地图的Transformer网络MOD超过了最先进的方法。 此外,提出的TPE编码比SPE基线提供了10%的mAP改进。 5、Multi-Modal 3D O

    02

    大模型来了,自动驾驶还远吗?关键看“眼睛”

    感知系统是自动驾驶最重要的模块之一,被视为智能车的“眼睛”,对理解周围环境起到至关重要的作用。随着深度学习以及传感器技术的发展,感知系统呈现出迅猛的发展趋势,涌现出各种新技术,性能指标不断提升。本文将围绕感知系统架构、方法及挑战,结合驭势科技的具体实践深入探究自动驾驶感知技术。 作者 |耿秀军、李金珂、张丹、彭进展 出品 | 新程序员 感知系统架构与方法 目标的检测与跟踪是感知系统的两大基础任务,主要利用不同传感器数据输入,完成对周围障碍物的检测与跟踪,并将结果传递给下游规划控制模块完成预测、决策、规划、

    03

    平均交付准确率99%以上!又一大厂进军自动驾驶AI数据服务,教AI学会人类标注能力

    允中 发自 凹非寺 量子位 | 公众号 QbitAI △AI数据是人工智能行业的燃料,在智能驾驶领域同样扮演着助推技术落地的角色 如今自动驾驶成为了人工智能领域最受关注、最具挑战和影响力最为广泛的产业方向,是推动全球汽车工业变革最重要的科技力量。 汽车正在向智能化转变,在自动驾驶落地较好的企业往往也具备强劲的市场竞争力。但目前智能汽车想要实现更高等级的自动驾驶,还有许多技术难点有待解决。 成熟的自动驾驶技术需要具备感知和决策两方面能力。 通过多种融合的车外传感器使汽车具备感知周围行驶环境的能力;决策则是

    04
    领券