理解各种交通参与者的运动对于自动驾驶汽车在动态环境中安全运行至关重要。运动信息对于各种车载模块非常关键，涉及检测、跟踪、预测、规划等多个任务。自动驾驶汽车通常配有多个传感器，其中最常用的是激光雷达（LiDAR）。因此，如何从点云中表征和提取运动信息是自动驾驶研究中一个基础的问题。
本文对自动驾驶中的3D点云处理和学习进行了综述。LiDAR传感器是自动驾驶车辆中最重要的传感器之一，它采集3D点云，精确的记录物体和场景的外表面。3D点云处理和学习工具对于自动驾驶车辆中的地图创建、定位和感知模块至关重要。在目前研究者关注从摄像机中采集到的图像、视频等数据的同时，已经有越来越多的研究者认识到LiDAR在自动驾驶中的重要性和意义，提出了基于3D点云的处理和学习算法。本文回顾了该研究领域的最新进展，总结了目前自动驾驶领域已经尝试使用的和需要的使用的实用方法。本文还提供了未来需要解决的开放问题的一些观点。
文章：Multi-LiDAR Localization and Mapping Pipeline for Urban Autonomous Driving
论文标题：DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes 论文：https://arxiv.org/abs/2312.07920 项目主页：
用激光雷达进行目标检测是目前自动驾驶汽车用到的主流方法，这种传感器精度高、成本高昂、技术门槛高。如果昂贵的价格能买来安全，那么也能显示其价值。但最近，来自百度研究院、密歇根大学以及伊利诺伊大学香槟分校的研究者提出了一种可以「欺骗」激光雷达点云的对抗方法，对激光雷达的安全性提出了质疑。
本篇文章提出了首个大型自动驾驶协同感知数据集， 并提供了多达16个模型的综合Benchmark以及一套完整的代码框架，为协同感知这个新领域提供了基准。
自动驾驶技术的不断演进为交通出行带来了革命性的变化，而激光雷达感知技术作为其中关键的一环，在实现车辆智能感知和环境理解方面发挥着至关重要的作用。本文将深入探讨百度Apollo自动驾驶系统中激光雷达感知的工作原理、优势以及在实际应用中的表现。
用激光雷达进行目标检测是目前汽车用到的主流方法，这种传感器精度高、成本高昂、技术门槛高。如果昂贵的价格能买来安全，那么也能显示其价值。但最近，来自百度研究院、密歇根大学以及伊利诺伊大学香槟分校的研究者提出了一种可以「欺骗」激光雷达点云的对抗方法，对激光雷达的安全性提出了质疑。
自动驾驶技术正逐渐成为现实，而Autoware是一个开源的自动驾驶软件框架，旨在为开发人员提供一个完整的解决方案。本文将对Autoware的源码进行剖析，并介绍如何进行实际的开发实践。
文章：High-Definition Map Generation Technologies for Autonomous Driving
文章：Automatic Building and Labeling of HD Maps with Deep Learning
原文：Multi-modal Sensor Fusion for Auto Driving Perception: A Survey
2021年10月25日，特斯拉市值站上万亿美金，成为美股第五家市值破万亿的企业，几乎超过美股全部主要车企市值的总和。特斯拉在资本市场的成功，刺激着投资者的神经，也促使市场再一次将视野聚焦在自动驾驶领域，进一步思考自动驾驶技术路线的发展方向。
文章：3D Object Detection for Autonomous Driving: A Survey
slam (Simultaneous Localization and Mapping)叫即时定位与建图，它主要的作用是让机器人在未知的环境中，完成定位（Localization)，建图(Mapping)和路径规划(Navigation)。
标题：3D Point Cloud Processing and Learning for Autonomous Driving
在开发自动驾驶汽车的激烈竞争中，激光雷达（LiDAR），这种类似雷达的激光系统，已经成为最关键的硬件组件之一。激光雷达系统生成精确且对计算机友好的点云数据作为3D 世界地图，以改进自动驾驶汽车的感知和安全性。然而，激光雷达点云的语义分割这个重要任务仍然是AI研究人员的重大挑战。标注3D点云数据的缺乏阻碍了深层神经网络在语义分割任务上的进一步性能提高。尽管一些自动驾驶公司已经发布了一些数据集，但是激光雷达传感器的不同配置和其他领域的差异不可避免地导致了在一个数据集上训练的深度网络不能在其它数据集上表现良好的问题。为了弥补激光雷达传感器中3D点云采样的差异所造成的域差异，谷歌的一个研究小组最近提出了一种新颖的“完全标记”域适应方法。
在自动驾驶和计算机视觉领域，单目3D物体检测是一项极具挑战性的任务。以前大多数的工作都是手动标注的3D标签框，标注成本很高。
机器之心原创 作者：吴昕 2022 年的 3 月，或将被写入自动驾驶史册——美国颁布无人驾驶法规，中国也许将从政策层面允许 L3 自动驾驶乘用车上路，国内首条支持自动驾驶的快速路通车运营…… 毫无疑问，自动驾驶已经逐渐从快速迭代迈入大规模落地阶段。在这个 “临门一脚” 的关键时刻，想要让汽车本身的算法做到处理更多、更复杂的场景，不可或缺的是海量的场景数据支撑。 通过对话国内唯一 A 股上市数据服务商—海天瑞声，透视 AI 数据在助推自动驾驶实现的路上，所面临的机会与挑战。 一、自动驾驶数据迎来爆发期
自动驾驶汽车严重依赖输入的训练数据来做出驾驶决策，从逻辑上来说，数据越详细，车辆做出决策就越好，最重要的是更安全。虽然现代相机可以捕捉到非常详细的真实世界特征，但输出结果仍然是2D的，效果并不够理想，因为它限制了我们可以提供给自动驾驶汽车神经网络的信息，这意味着汽车必须学会对3D世界做出猜测。与此同时，相机捕捉信息的能力有限，比如在下雨的时候，相机捕捉到的图像几乎无法辨别，而激光雷达仍然可以捕捉信息。因此，2D相机无法在所有环境下工作，由于自动驾驶汽车是神经网络一个高危应用场景，我们必须确保构建的网络尽可能完美，这一切要从数据说起。理想情况下，我们希望我们的网络将3D数据作为输入，因为它需要对3D世界进行预测，这就是激光雷达的用武之地。
毫米波雷达是自动驾驶系统中常用的感知传感器之一，它能够在各种复杂的环境条件下实现高精度的目标检测和跟踪。然而，传统的毫米波雷达在处理动态场景和复杂交通情况时存在一定的局限性，例如对于高速移动目标的准确跟踪以及对于复杂道路场景的精细感知能力有待提升。
我们先以汽车在现代科技领域的演进来开始这次的chat，最早的就是电动汽车，其中的代表无疑是特兹拉，相信大家对电动车还是比较熟悉的，这里就不展开说明了。接下来就是最近很火的共享车，以滴滴来讲，据滴滴官方报道平台用户3亿，车主1500万，日均订单有1400万，从1400万的数据来看订单数已经超过美团，大众点评，在中国互联网界仅次于阿里巴巴和京东，要知道滴滴是个非常年轻的公司，但是这1400万的日均订单也只占整个出行市场的1%，可见整个出行市场的天花板还远远望不到头。接下来就是车联网领域，车联网是个很广义的概念，
近年来，自动驾驶领域的各项下游任务基本上都要求了对场景的语义理解，比如自动驾驶车辆要能够理解哪个是路面、哪个是交通灯、哪个是行人、哪个是树木，因此点云分割的作用就不言而喻。
因为明天可以去速腾看激光雷达，这里我就简单的写一下过于雷达的一些技术的问题，不过话说到这里，我看看我手边有什么雷达？
用于目标检测、跟踪和分割的3D点云数据的自动处理是人工智能和数据科学领域的最新研究趋势，旨在解决自动驾驶落地的不同问题并获得实时性能。
标题：Probabilistic Semantic Mapping for Urban Autonomous Driving Applications
文章：Occ-BEV: Multi-Camera Unified Pre-training via 3D Scene Reconstruction
大多数自动驾驶汽车使用 3D 激光扫描仪（即所谓的 LiDAR）来感知周围的 3D 世界。LiDAR 生成汽车周围场景的局部 3D 点云。这些 3D 点云广泛用于众多机器人和自动驾驶任务，如定位、物体检测、避障、映射、场景解释和轨迹预测。一个典型的 LiDAR 传感器每秒生成大约 10 个这样的点云。
1、3D Object Detection for Autonomous Driving: A Survey 自动驾驶被认为是保护人类免遭严重车祸的最有前途的方法之一。 为此，三维目标检测是感知系统的核心基础，特别是在路径规划、运动预测、避碰等方面。 一般来说，立体或单目图像中相应的三维点云已经是三维目标检测的标准布局，随着提供准确的深度信息，点云越来越普遍。 尽管已有的努力，点云上的3D目标检测仍然处于起步阶段，原因是点云本质上高度稀疏和不规则，相机视图和激光雷达鸟瞰图之间的不对齐视图的模态协同，遮挡和规模变化在长距离等。 近年来，在三维目标检测方面取得了深刻的进展，有大量的文献正在研究这一视觉任务。 因此，我们将全面回顾该领域的最新进展，涵盖所有主要主题，包括传感器、基本原理和最新的最先进的检测方法及其优缺点。此外，我们将介绍度量并提供流行公共数据集的定量比较。 未来工作的途径将在对调查工作进行深入分析后审慎地确定。 最后，对本文进行了总结。 2、One Million Scenes for Autonomous Driving: ONCE Dataset 当前的自动驾驶感知模型因严重依赖大量注释数据来覆盖不可见的案例和解决长尾问题而臭名昭著。 另一方面，从未标记的大规模收集数据中学习、逐步自我训练的强大识别模型越来越受到关注，可能成为下一代行业级强大、鲁棒的自动驾驶感知模型的解决方案。 然而，研究领域普遍存在着现实场景中必不可少的数据不足的问题，这阻碍了未来全/半/自我监督的三维感知方法的探索。 在本文中，我们介绍了用于自动驾驶场景的三维目标检测的ONCE(一百万场景)数据集。 ONCE数据集包括100万个激光雷达场景和700万个相应的相机图像。 数据来自144个驾驶小时，比现有最大的3D自动驾驶数据集(如nuScenes和Waymo)长20倍，数据来自不同的地区、时间段和天气条件。 为了便于未来利用无标记数据进行3D检测的研究，我们另外提供了一个基准，在此基准上我们在ONCE数据集上再现和评估各种自我监督和半监督方法。 我们对这些方法进行了广泛的分析，并提供了与使用数据规模相关的有价值的观察结果。 3、SODA10M: Towards Large-Scale Object Detection Benchmark for Autonomous Driving 为了促进一个真实的、不断发展和可扩展的自动驾驶系统，我们提出了一个大规模的基准，通过学习原始数据，对不同的自我监督和半监督方法进行标准化评估，这是迄今为止第一个也是最大的基准。 现有的自动驾驶系统严重依赖“完美的”视觉感知模型(如检测)，这些模型使用大量标注数据进行训练，以确保安全。 然而，在部署一个强大的自动驾驶系统时，要对所有场景和环境(例如夜晚、极端天气、城市)都精心标注是不现实的。 基于自监督和半监督学习的强大发展，通过协同开发大规模无标记数据和少量标记数据学习鲁棒检测模型是一个很有前途的方向。 现有的数据集(如KITTI、Waymo)要么只提供少量的数据，要么覆盖了有限的领域，并进行了完整的注释，阻碍了对大规模预训练模型的探索。 在这里，我们发布了一个用于自动驾驶的大规模目标检测基准，名为SODA10M，包含1000万张未标记图像和20K张标记了6个代表性目标类别的图像。 为了提高多样性，图像每10秒采集一次，在32个不同的城市中，在不同的天气条件下，时间段和场景。 我们提供了广泛的实验和深入的分析现有的监督的最先进的检测模型，流行的自我监督和半监督方法，以及一些关于如何开发未来的模型的见解。 4、MODETR: Moving Object Detection with Transformers 运动目标检测(MOD)是自动驾驶系统的一项重要任务。 MOD通常通过融合了外观和运动线索的双流卷积结构处理，而没有考虑空间或运动特征之间的相互关系。 在本文中，我们通过跨越空间流和运动流的多头注意机制来解决这个问题。 我们建议MODETR; 一个运动物体检测Transformer网络，包括空间和运动形态的多流变压器编码器，和一个物体变压器解码器，使用集合预测产生运动物体的边界盒。 整个体系结构使用双向损耗进行端到端训练。 本文探讨了将运动线索与Transformer模型结合的几种方法，包括双流RGB和光流方法，以及利用序列信息的多流体系结构。 为了整合时间信息，我们提出了一种新的时间位置编码(TPE)方法来扩展空间位置编码(SPE)。 我们将为此探索两种架构选择，即在速度和时间之间实现平衡。 为了评估我们的网络，我们在KITTI MOD[6]数据集上执行MOD任务。 结果表明，显著的5%地图的Transformer网络MOD超过了最先进的方法。 此外，提出的TPE编码比SPE基线提供了10%的mAP改进。 5、Multi-Modal 3D O
代码：https://github.com/USTCLH/OCC-VO.git (coming soon)
“无人车长大了！”，“无人车能自己赚钱了！”，“无人车成精了吗”......这是不少网友观看上述视频之后的感受。
定位模块是自动驾驶最核心的模块之一，定位又包括全局定位和局部定位，对于自动驾驶，其精度需要达到厘米级别。本文我们将讨论全局定位，即确定无人车在全局下的位置。 传统的AGV使用一类SLAM（simultaneous localization and mapping）的方法进行同时建图和定位，但是该方法实现代价高，难度大，难以应用到自动驾驶领域。自动驾驶车辆行驶速度快，距离远，环境复杂，使得SLAM的精度下降，同时远距离的行驶将导致实时构建的地图偏移过大。因此，如果在已有高精度的全局地图地图的情况下进行无人车的定位，将极大的简化该问题。
本文推荐浙大团队的一项研究成果：LPCG：Lidar Point Cloud Guided Monocular 3D Object Detection，该论文被ECCV2022接收。
感知系统是自动驾驶最重要的模块之一，被视为智能车的“眼睛”，对理解周围环境起到至关重要的作用。随着深度学习以及传感器技术的发展，感知系统呈现出迅猛的发展趋势，涌现出各种新技术，性能指标不断提升。本文将围绕感知系统架构、方法及挑战，结合驭势科技的具体实践深入探究自动驾驶感知技术。 作者 |耿秀军、李金珂、张丹、彭进展 出品 | 新程序员 感知系统架构与方法 目标的检测与跟踪是感知系统的两大基础任务，主要利用不同传感器数据输入，完成对周围障碍物的检测与跟踪，并将结果传递给下游规划控制模块完成预测、决策、规划、
允中 发自 凹非寺 量子位 | 公众号 QbitAI △AI数据是人工智能行业的燃料，在智能驾驶领域同样扮演着助推技术落地的角色 如今自动驾驶成为了人工智能领域最受关注、最具挑战和影响力最为广泛的产业方向，是推动全球汽车工业变革最重要的科技力量。 汽车正在向智能化转变，在自动驾驶落地较好的企业往往也具备强劲的市场竞争力。但目前智能汽车想要实现更高等级的自动驾驶，还有许多技术难点有待解决。 成熟的自动驾驶技术需要具备感知和决策两方面能力。 通过多种融合的车外传感器使汽车具备感知周围行驶环境的能力；决策则是
论文地址： http://arxiv.org/pdf/2011.11964v2.pdf
只需“100K大小的外挂”，就能让自动驾驶AI识别“物体运动状态”的能力大幅上升！
本文为《Deep Learning for LiDAR Point Clouds in Autonomous Driving: A Review》译文，在原文的基础上译者会稍作修改提炼，方便大家学习理解。
Apollo 系统传感器是以 Lidar 为主的，本文整理在 Apollo 6.0 中 Lidar 的基本代码流程。
技术解析是由美团点评无人配送部技术团队主笔，每期发布一篇无人配送领域相关技术解析或应用实例，本期为您带来的是自动驾驶中的激光雷达目标检测，本次内容较多，分为上下两集，本次主要介绍激光雷达相关原理以及非深度学习的算法。
机器之心专栏 作者：OpenDriveLab BEV（Bird’s-eye-view） 感知研究对自动驾驶领域影响巨大，关于 BEV 你需要了解哪些内容，本文通过 BEVPerception Survey 为你揭晓答案。 BEV 感知到底是什么？自动驾驶的学术界和工业界又都在关注 BEV 感知的什么内容？本文将会为你揭晓答案。 在自动驾驶领域中，让感知模型学习强大的鸟瞰图（BEV）表征是一种趋势，并且已经引起了工业界和学术界的广泛关注。相比于之前自动驾驶领域中的大多数基于在前视图或透视图中执行检测、分割、
文章：Monocular Localization with Semantics Map for Autonomous Vehicles
当然，还包括Autoware中与电脑x86和平板arm的人机交互接口以及AGV等应用程序。
计算机视觉的飞速发展离不开大量图像标注数据的支撑，随着各类图像检测、识别算法的商业化落地，市场对图像标注精准度愈发严格，同时针对不同的应用场景，也衍生出了不同的图像标注方法。
论文地址：http://xxx.itp.ac.cn/pdf/2008.09162v1
文章：Robust Intrinsic and Extrinsic Calibration of RGB-D Cameras
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
