什么是3D点云数据？该如何标注它？｜数据标注

自动驾驶汽车严重依赖输入数据来做出驾驶决策。一般来讲，数据越详细，车辆做出的决策就越好车辆行驶的也就更安全。虽然现代相机可以捕获非常详细的数据表示，但输出仍然是2D的，它限制了我们可以提供给操作车辆的神经网络的信息。相机捕捉信息的能力有限，相机可能无法在所有环境或情况下工作。例如，下雨可能会使图像几乎无用，而激光雷达仍可以获取信息。

激光雷达到底是什么？

激光雷达代表光检测和测距。简而言之，它是一种遥感技术，使用激光脉冲形式的光来测量传感器和目标物体之间的距离和尺寸。在自动驾驶汽车的背景下，激光雷达传感器用于检测和查明物体相对于车辆的位置，例如其他汽车、行人和建筑物。人工神经网络的日益普及使激光雷达比以前更有用。

激光雷达技术自1960年代以来一直被使用，当时它被安装在飞机上以扫描它们飞过的地形。随着GPS的出现，LiDAR在1980年代变得越来越流行，当时它开始被用于构建真实世界位置的3D模型。

激光雷达如何工作？

大多数LiDAR系统由四个元素组成：

1)激光：向物体发送光脉冲（通常是紫外线或近红外线）。

2)扫描仪：调节激光扫描目标物体的速度和激光到达的最大距离。

3)传感器：测量来自激光的光从目标物体反弹并返回系统所需的时间（从而测量距离）。

4) GPS：跟踪激光雷达系统的位置，以确保距离测量的准确性。

现代LiDAR系统通常每秒可以发送高达500k的脉冲。源自这些脉冲的测量值被聚合成一个点云，它本质上是一组坐标，代表系统已感应到的对象。点云用于创建LiDAR周围空间的3D模型。

每种颜色代表一个不同的语义类别。

有两种一般类型的LiDAR系统：机载和地面。由于我们感兴趣的用例是自动驾驶汽车，我们将主要关注地面激光雷达。地面激光雷达附着在固定在地面上的物体上，并在所有可见方向上进行扫描。它们可以是静态的（例如，连接到不动的三脚架或建筑物上）或移动的（例如，连接到汽车或火车上）。

使用激光雷达数据进行深度学习

考虑到LiDAR系统生成的输出类型，将它们与神经网络相结合似乎是一种自然而然的选择，事实上，在点云上运行的神经网络已被证明是有效的。激光雷达点云在自动驾驶汽车上的应用可以分为两类：

· 以对象检测和场景理解为目的的实时环境感知和处理。

· 生成用于对象定位和参考的高清地图和城市模型。

这听起来可能很复杂，但实际上它只是意味着LiDAR 数据用于语义分割、对象检测/定位和对象分类，唯一的区别是现在我们在3D中进行，这使得我们的模型有更多的细微差别.

对于在LiDAR数据上运行的神经网络来说，一个有趣的挑战是，基于扫描时间、天气条件、传感器类型、距离、背景和大量其他因素，存在大量变化。由于激光雷达的工作方式，物体的密度和强度变化很大。再加上传感器经常有噪声，尤其是LiDAR数据通常不完整（由于某些材料的低表面反射率和城市背景杂乱等因素），处理LiDAR数据的神经网络需要能够处理很多变化。3D数据的另一个问题是，与2D图像不同，LiDAR传感器的点没有直观的顺序，这就需要置换和方向不变性在我们的模型中，并非所有架构都满足。

为处理LiDAR数据而提出的四个有趣的架构系列如下：

1）基于点云的方法：这些网络使用不同的方法直接在点云上运行。

2)基于体素的方法：3D数据被划分为体素的3D网格（本质上是立方体网格），并且在类似CNN的架构中应用3D卷积和池化。

3）基于图的方法：这些方法使用点云中存在的固有几何来构建图，并应用常见的GNN架构，如图CNN和图注意网络（它们也恰好满足前面提到的置换不变性条件）。

4)基于视图的方法：这些方法依赖于使用来自2D计算机视觉的久经考验的架构创建点云的2D投影。在这种情况下，可以帮助提高模型性能的一种策略是从不同角度创建多个投影并投票支持最终预测。

标注LiDAR数据

正如我们现在所知，激光雷达数据上最常见的深度学习任务是语义分割、对象检测和分类的变体。因此，LiDAR标注与为这些任务标注图像非常相似。人工标注非常常见，但由于LiDAR数据更复杂且可能令人困惑的性质，公司正试图使用预先训练的网络尽可能地自动化该过程。

由于我们正在处理3D数据，由于其3D特性，对其进行标注似乎会变得很麻烦。情况不一定如此。对于3D语义分割和3D对象分类，钻头与2D对应物几乎相同，除了我们现在处理的空间中的稀疏点比2D图像中的像素要多。至于3D对象检测，唯一增加的复杂性标注是除了对象的位置之外，我们还需要标注它的方向，也就是对象所面对的方向。

可以看出，LiDAR数据标注的主要障碍并不是真正源于其3D特性。只是LiDAR数据看起来不像常规图像那样简单直观，因此标注可能需要更长的时间，尤其是对于不熟悉此类数据的人。

如前所述，LiDAR是一种使用激光脉冲和传感器构建传感器周围环境的3D视图的技术。虽然它自1960年代以来一直在使用，但如今最常见的用例之一是将LiDAR数据与自动驾驶汽车的神经网络相结合。常见的神经架构已被用于对LiDAR数据进行操作，尽管需要进行一些必要的调整。虽然LiDAR生成的点云的性质使得数据格式与2D图像截然不同，但LiDAR标注过程并没有太大变化。

AI基础数据服务｜数据采集｜数据标注｜假指纹制作｜指纹防伪算法

助力人工智能技术加速数字经济相关产业质量变革，赋能传统产业智能化转型升级