技术解析是由美团点评无人配送部技术团队主笔，每期发布一篇无人配送领域相关技术解析或应用实例，本期为您带来的是自动驾驶中的激光雷达目标检测，本次内容较多，分为上下两集，本次主要介绍激光雷达相关原理以及非深度学习的算法。
在图像算法中，无监督的过分割是一种广泛的预处理步骤，将图像分割成具有相似属性的像素区域，称之为超像素分割，该方法减少了之后后期算法计算的的成本，并且信息损失最小，本文提出的是一种新的过分割算法，该算利用点云体素关系生成具有空间一致性的过分割，而不是在三维点云映射或者投影到了二维空间中进行处理。论文是在已经校准的RGB_D相机的数据集上进行试验，并且与2D的处理速度相仿的条件下，保证了分割的高效。
各位小伙伴们，有没有发现PCL库中已经集成了太多我们想实现的算法或者功能呢？所以这里我们的学习小组已经开始针对PCL库中实现的算法进行剖析与论文解读，所以希望更多的小伙伴们参与进来，我们一起吃透PCL，希望有朝一日，我们可以自己更新PCL的库。欢迎私信或者联系邮箱：dianyunpcl@163.com
本文为美团点评无人配送部技术团队主笔，为您带来的是自动驾驶中的激光雷达目标检测。（本文来源：美团无人配送）
标题：Stereo Plane SLAM Based on Intersecting Lines
在过去的几年中，基于RGB的深度学习已经在目标分类与语义分割方面取得了非常好的效果，也促进了很多技术的发展，深度学习在现实生活中的应用也越来越多。但是在很多实际应用中，例如自动驾驶中，只使用RGB信息是远远不够的，因为我们不仅仅想要知道周围有什么物体，还想要知道物体具体的三维信息（位置，运动状态等），因此，三维方面的深度学习也逐渐发展了起来并取得了不错的效果。
将多个数据集合并成一个全局一致的模型通常使用一种称为"配准"的技术来完成。其关键思想是识别数据集之间的对应点，并找到一个最小化对应点之间距离的变换关系。由于对应点的查找受到数据集的相对位置和方向的影响，因此需要重复这个过程。一旦最小化误差降到给定的阈值以下，就可以说完成了配准。pcl_registration库实现了众多点云配准算法，适用于有序和无序点云的数据集。
关键点检测本质上来说，并不是一个独立的部分，它往往和特征描述联系在一起，再将特征描述和识别、寻物联系在一起。关键点检测可以说是通往高层次视觉的重要基础。但本章节仅在低层次视觉上讨论点云处理问题，故所有讨论都在关键点检测上点到为止。NARF 算法实际上可以分成两个部分，第一个部分是关键点提取，第二个部分是关键点信息描述，本文仅涉及第一个部分。
论文题目：《Voting-Based Pose Estimation for Robotic Assembly Using a 3D Sensor》
想象一下，如果你正在建造一辆自动驾驶汽车，它需要了解周围的环境。为了安全行驶，你的汽车该如何感知行人、骑车的人以及周围其它的车辆呢？你可能会想到用一个摄像头来满足这些需求，但实际上，这种做法似乎效果并不好：你面对的是一个三维的环境，相机拍摄会使你把它「压缩」成二维的图像，但最后你需要将二维图像恢复成真正关心的三维图像（比如你前方的行人或车辆与你的距离）。在相机将周围的三维场景压缩成二维图像的过程中，你会丢掉很多最重要的信息。试图恢复这些信息是很困难的，即使我们使用最先进的算法也很容易出错。
本文介绍了点云中不可忽视的一项重要属性——几何语义，并尝试根据自己的理解和实践经验对其进行一些归纳总结，可能有些地方有理解有误，请大家抱着批判的态度学习。
师兄：抱歉，抱歉，最近忙于俗事。我后面一起补上，学习劲头得向你们年轻人学习啊！话说，你最近在研究什么呢？
三维点云为物理世界精细数字化提供了高精度的三维表达方式，广泛应用于三维建模、智慧城市、自主导航系统、增强现实等领域。然而点云的数据海量、非结构化、密度不均等特点给点云的存储和传输带来了巨大挑战，因此在有限的存储空间容量和网络传输带宽中实现低比特率、低失真率的点云压缩具有重要的理论意义和实用价值。
对于自动驾驶汽车来说，在未知环境中的实时定位和建图非常重要。本文提出了一种快速、轻量级的3D激光雷达SLAM，用于大规模城市环境中自动驾驶车辆的定位。文中提出了一种新的基于深度信息的编码方法，可以对具有不同分辨率的无序点云进行编码，避免了点云在二维平面上投影时丢失维度信息。通过根据编码的深度信息动态选择邻域点来修改主成分分析（PCA），以更少的时间消耗来拟合局部平面。阈值和特征点的数量根据距离间隔自适应，从而提取出稀疏的特征点并均匀分布在三维空间中。提取的关键特征点提高了里程计的准确性，并加快了点云的对齐。在KITTI和MVSECD上验证了该算法的有效性和鲁棒性。里程计估计的快速运行时间为21ms。与KITTI的几种典型的最先进方法相比，所提出的方法将平移误差减少了至少19%，旋转误差减少了7.1%。
以激光扫描为代表的主动采集装备在易操作性、机动灵活性、智能化、高效化等方面日益成熟，利用三维成像技术采集密集点的空间坐标、色彩纹理和反射强度等信息，可高保真且快速重建被测目标的三维实体，在工程测量、生物医学、智慧城市、虚拟现实(VR)、增强现实(AR)等科学与工程研究中发挥十分重要的作用[1-4]。
本文的目标是在自动驾驶环境下生成高质量的3D目标建议。我们的方法利用立体图像将提案以3D包围框的形式放置。我们将此问题表述为最小化一个能量函数，该函数编码目标大小先验、地平面以及几个与自由空间、点云密度和到地面距离有关的深度信息特征。我们的实验表明，在具有挑战性的KITTI基准测试上，与现有的RGB和RGB- d目标建议方法相比，性能有显著提高。结合卷积神经网络(CNN)评分，我们的方法在所有三个KITTI目标类上都优于所有现有的结果。
本文介绍一篇基于RGB图像的单目三维目标检测的文章AM3D，该文发布于ICCV 2019《Accurate Monocular 3D Object Detection via Color-Embedded 3D Reconstruction for Autonomous Driving》。输入单幅RGB图像，输出三维Bounding Box信息。
由于对三维激光SLAM比较感兴趣，并且最近也在找无人驾驶激光SLAM算法的岗位，所以花了一个多月把LOAM的论文和源码好好看了一遍。发现论文还是比较容易明白，但一看代码全是坑。看论文懂了，看代码似懂非懂。为了尽快把这坑填上，所以诚邀读者一起探讨。作者始终认为填坑最好的方法是拉别人和你一起填坑。由于三千多行的源码不是一篇博客能够讲明白的，所以这篇博客主要讲一下我对LOAM论文的理解，后续会有代码的介绍，希望对大家能有帮助。
文章：City3D: Large-Scale Building Reconstruction from Airborne LiDAR Point Clouds
最近在arXiv和一些会议上看到了几篇3D点云分割paper，觉得还不错，在这里分享下基本思路。
技术解析是由美团点评无人配送部技术团队主笔，每期发布一篇无人配送领域相关技术解析或应用实例，上期我们讲了激光雷达相关原理和非深度学习的目标检测算法，这一期我们来讲讲基于深度学习相关算法
文章：M2DP: A Novel 3D Point Cloud Descriptor and Its Application in Loop Closure Detection
本文来自旷视研究院，作者：闫东。AI 科技评论获授权转载。如需转载，请联系旷视研究院。
三维重建作为环境感知的关键技术之一，可用于自动驾驶、虚拟现实、运动目标监测、行为分析、安防监控和重点人群监护等。现在每个人都在研究识别，但识别只是计算机视觉的一部分。真正意义上的计算机视觉要超越识别，感知三维环境。我们活在三维空间里，要做到交互和感知，就必须将世界恢复到三维。所以，在识别的基础上，计算机视觉下一步必须走向三维重建。本文笔者将带大家初步了解三维重建的相关内容以及算法。
这个工作来自于上海交通大学，发表于CVPR 2022。我们知道，三维点云配准是三维视觉以及点云相关任务中的一个关键课题。早期最具有代表性的三维点云配准的工作是ICP，其根据点匹配估计输入点云的相对位姿。近年来随着深度学习技术的发展进步，基于深度学习的三维点云配准方法成为研究的主流，并随之诞生了DeepVCP、DGR、Predator等著名的方法。但这个工作重新聚焦于非学习的策略，通过聚类策略实现了先进的性能。同时，这个工作提出了一个新颖的点云配准问题设定，称为multi-instance point cloud registration，即同时估计某个instance的源点云与多个目标instance组成的目标点云中的每个instance的相对位姿。
今日导读：CVPR2019上发布了两篇语义和实例分割相结合的文章，这两篇文章有很多相似之处，因此可以放在一起来看。两篇文章目前都已开源代码。
去考虑看一张椅子的照片。即使我们以前从未见过这样的椅子，但我们人类有出色的能力，可以从这单张照片中推断出这张椅子的三维形状。可以证明人类经验主义的一个更具代表性的例子就是，我们和椅子共处于同一个物理空间中，并从不同的角度积累信息，在我们的脑海中可以组建起这个椅子的三维形状。这个复杂的二维到三维的推理任务，我们是怎样完成的？我们又是使用什么样的线索？ 从仅有的几个视角，我们是怎样无缝整合这些信息并且建立一个整体的三维场景模型？
在缺乏鲁棒的视觉特征的环境中，运动结构（SfM）通常无法估计准确的姿势，在这种情况下，最终3D网格的质量会降低，克服这个问题的，一种方法是将单目相机的数据与激光雷达的数据结合起来。这种联合传感器的方法可以捕捉环境中精细的细节和纹理，同时仍能准确地表示无特征的对象，然而，由于这两种传感器的特性根本不同，因此融合这两种传感器模式是非常具有挑战性。
在所有的项目中，其中有一个最突出的，来自一位工程实习生，他撰写了一篇基于相机的3D目标跟踪的论文。
文章：High-Definition Map Generation Technologies for Autonomous Driving
腾讯多媒体实验室专栏 基于全景图的空间场景重建技术在各类沉浸式媒体解决方案中有着广泛的应用，比如 VR 看房，虚拟展厅等，也是近年来学术界和工业界在积极研究的一个难题。本文主要介绍了腾讯多媒体实验室在该领域的研究进展。通过自研深度学习网络和 3D 计算机视觉技术的结合，解决了在复杂场景下全景图点云重建的难题，成功实现了通过全景图即可算法重建空间点云的效果。目前，该技术已经应用于腾讯多媒体·点云产品中。 随着三维视觉技术的发展，三维视觉已经逐步渗透到各个领域，在 AR / VR、自动驾驶、三维重建等领域
摘要：对三维计算机视觉领域中近三十年的局部描述子进行总结，回顾了传统三维手工局部描述符的构造方法，介绍了基于深度学习的方法。
激光视觉联合标定的目的是构建激光点云和视觉像素点之间的关系，通过标定得到的激光雷达和相机之间的外参把三维的激光点投影到相机坐标系下，然后利用相机的模型把三维点投影到像素平面。由于标定的结果直接影响信息融合的效果，所以标定技术是多传感器之间信息交互中的关键。
当给你看一张椅子的照片时，你是可以从这张单幅照片中推断出椅子的三维形状的，即使你以前可能从未见过这样的椅子。我们经历的一个更具有代表性的例子是，在与椅子的物理空间相同时，从不同的角度收集信息，以建立我
本文为我在浙江省北大信研院-智能计算中心-情感智能机器人实验室-科技委员会所做的一个分享汇报，现在我把它搬运到博客中。
这是今年的一篇针对高分辨率的固态激光雷达（非重复性扫描型）或者多线的激光雷达和相机在无标定板的环境中自动化外参标定的一篇文章。本文的方法不需要基于巧克力板，只依赖两个传感器采集的环境中的线特征就可以得到像素级精度的标定结果。在理论层面，作者分析了边缘特征提供的约束和边缘特征在场景中的分布对标定精度的影响。同时，作者分析了激光雷达的测量原理，并提出了一种基于点云体素分割和平面拟合的高精度的激光雷达点云边缘特征提取的方法。由于边缘特征在自然场景中很丰富，所以作者在室内和室外多个数据集上进行了实验并取得了不错的效果。
文章：ACSC: Automatic Calibration for Non-repetitive Scanning Solid-State LiDAR and Camera Systems
三维数据通常可以用不同的格式表示，包括深度图像、点云、网格和体积网格。点云表示作为一种常用的表示格式，在三维空间中保留了原始的几何信息，不需要任何离散化。因此，它是许多场景理解相关应用（如自动驾驶和机器人）的首选表示。近年来，深度学习技术已成为计算机视觉、语音识别、自然语言处理、生物信息学等领域的研究热点，然而，三维点云的深度学习仍然面临着数据集规模小、维数高、非结构化等诸多挑战三维点云。在此基础上，本文对基于点云数据下的深度学习方法最新进展做了详解，内容包括三维形状分类、三维目标检测与跟踪、三维点云分割三大任务。
VIW Fusion是一种基于优化的视觉+惯导+轮速的里程计方案，感谢由港科大空中机器人小组在VINS Fusion方面所做的杰出工作，VIW融合是在VINS融合的基础上发展起来的。主要特征有：
前面的一篇文章：3D目标检测深度学习方法中voxel-represetnation内容综述（一）中笔者分享了如果采用voxel作为深度学习网络输入的backbone的几个重要的模块。也就是目前比较流行的One-stage的方法SECOND的1.5版本，在KITTI和Nuscenes的榜单上都能算是19年比较经典和高效的方法，这一篇文章，笔者填一下上一篇文章的坑，上一篇文章中说到目前的方法可以按照精度和速度两个方面做出研究，其中因为voxel-representation的方法本身是高效的，因此主要在速度上做出研究的方法还是远远少于在精度上做文章的。 笔者看到的在精度上做文章的研究工作主要可以分为如下几种：（1）refine（2）loss（3）fusion（4）backboe -structure（5）others。 下面笔者就这几种改进方式选择一些典型的文章做一定的简单分享，如果要深入理解文章的改进，还是很需要研究文章本身和阅读其代码的。
对于自动驾驶、机器人技术、导航系统和三维场景重建等应用，通常使用激光雷达和相机传感器捕获同一场景的数据。为了准确地重建场景中的对象，有必要将激光雷达和相机输出融合在一起，激光雷达相机外参估计出刚性变换矩阵，旋转+平移、6自由度，该矩阵建立三维激光雷达平面中的点与图像平面中的像素之间的对应关系。
导语 | 2019年9月7日，腾讯技术开放日·5G多媒体专场在腾讯滨海大厦完美落幕。来自腾讯多媒体实验室的专家们给大家带来了关于5G技术和标准的精彩分享，揭开了许多关于5G的谜团。本文重点讲解5G下沉浸式媒体的重要技术：3D&点云。
作者：龚靖渝， 楼雨京， 柳奉奇， 张志伟， 陈豪明， 张志忠， 谭鑫， 谢源， 马利庄
标题：Voxelized GICP for Fast and Accurate 3D Point Cloud Registration
前面总结了几种基于激光雷达点云数据的3D目标检测算法，还有一些算法不再单独列出，这里做个简单总结来分享下！
RANSAC是 RANdom SAmple Consensus 的缩写，中文翻译叫随机采样一致。它可以从一组观测数据中，找出符合某些数学模型的样本集，并且估计出这个数学模型的参数。举个例子，如下图所示，这些点是观测数据，给定的数学模型是圆形和直线，我们想从这些观测数据中找出圆形和直线，并且估计出它们的几何参数。
“无人车长大了！”，“无人车能自己赚钱了！”，“无人车成精了吗”......这是不少网友观看上述视频之后的感受。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
