用于三维点云语义分割的标注工具和城市数据集
文章：Annotation Tool and Urban Dataset for 3D Point Cloud Semantic Segmentation
作者：MUHAMMAD IBRAHIM , NAVEED AKHTAR , MICHAEL WISE, AND AJMAL MIAN
编译：点云PCL
代码：暂未找到此工具
文章仅做学术分享，如有侵权联系删文。未经博主同意请勿擅自转载。
摘要
非结构化的三维点云的精确语义分割需要大量带标签的训练数据进行深度学习，然而，目前还没有免费的专门软件可以有效地标注大型3D点云，作者通过引入PC-Annotate（一种用于3D点云研究的公共标注工具）来填补这一空白。该工具不仅可以对各种基本的体积形状进行系统标注，还提供了点云配准和生成体积样本的有用功能，这些样本可供深度学习点云模型使用，作者还介绍了一种用于三维语义分割的大型户外公共数据集，提出的数据集“PC Urban”是在一个带有激光雷达的civic装置中收集的，并用PC Annotate标记，它有超过43亿个点云，覆盖66K帧和25个带标注的类，最后，在PC Urban上提供了最新流行技术的基线语义分割结果。
主要贡献
点云语义分割是理解现实场景中的一个核心问题，点云使用物体和场景的表面坐标对其进行编码，并根据其3D形状进行精确分析，因此，点云语义分割在自动驾驶车辆、人机交互、自动手术和机器人导航等新兴技术中有许多重要应用。深度学习最近已成为分割3D点云最广泛采用的框架，深度神经网络已经被证明可以为这项任务学习精确的计算模型。然而，这些框架只能在有大量带标注的训练数据的情况下才能做到这一点。
用于点云语义分割的深度学习方法的开创性性能要求易于使用的3D数据注释工具，这些工具可以通过对大型训练数据集进行有效标记来推进这一研究方向，然而，目前还没有专门的标注工具可以部署在本地机器上，用于对大型点云进行高效标注。
图1. PC-Urban数据集中20个类的标记样本的代表性示例，用PC-Annotate注释，从不同的场景中选择对象进行演示
主要内容
PointNet是直接使用3D点云的开创性深度学习模型，该方法被扩展到PointNet++，该方法除了考虑PointNet中的局部特征外，还能够考虑全局点特征，最近另一个著名的方法是PointConv，它利用卷积运算的强大功能，实现高效的点云处理。
为了填补公共3D标注工具在研究领域的空白，作者引入了PC-Annotate一种用于标记大型点云的有效工具，从点云的标注到原始帧的配准以及深度模型的数据准备，PC-Annotate提供了各种功能来加速点云研究，它提供了一个用户友好的图形用户界面（GUI），如图2所示，允许使用规则的体积形状（长方体、圆柱体和球体）以及不规则的人工点云选择进行标注，通过滑动条和鼠标滚动，可以轻松控制形状大小。规则的几何形状可以通过封装对象来实现高效的标记，而人工选择可以实现更复杂的标注，以适应孤立的点云。它通过按住鼠标按钮悬停鼠标光标来选择点。这将定义一个感兴趣区域（RoI），在该区域内，所有点云都可以同时标记，使用此工具可以轻松处理大型点云。例如，我们使用PC-Annotate为提出的数据集的配准点云标记130万个点云。下面，我们将根据图2所示的GUI划分对该工具进行讨论。
图2，提出的PC标注的GUI：（A）注释功能区，（B）写入和配准功能区，（C）标注摘要面板，（D）形状调整工具栏和查看窗口控件，（E）处理功能区。
A. 标注功能区
GUI的这一部分提供核心标注功能，即数据加载、标签选择和保存标签，启动该工具后，将生成一个原始/配准的点云，ply格式或3D点云及标签文本文件（如果之前已标记）可以在“加载”按钮的帮助下加载。未标记的加载点云在查看窗口中显示为白色，在标记后会获得其独特的颜色。可以通过弹出菜单选择类别标签，该菜单为户外设置提供32个常用标签。对于标注，可以通过鼠标滚动访问不同的几何形状。按下图中的形状按钮，可以存储由相应形状限定的点云的标签。在球体和圆柱体之间，可以通过单击“球体/圆柱体”复选框来切换形状。我们将在本文的补充材料中提供有关所有按钮及其相关短键的详细信息。使用提供的规则和不规则形状，可以有效地标记对象的每个实例，然后按下保存按钮来存储实例信息。该工具的一个有用功能是，可以正确地重新标记未正确标记的点，因为上一次标记优于上一次标记。
B. 写入和配准功能区
此功能区提供用于写入和配准点云的按钮，点云标注完成后，PC-Annotate可以通过按“写入文件”按钮或快捷键“w”将标签写入硬盘，这将导致编写两个文本文件，一个标签文件和一个摘要文件。标签文件包含关于每个点的类ID和类实例的信息。类ID是0索引的整数值，其中0是为后台保留的。摘要文件记录标记点的统计信息，同时记录每个实例的类ID、实例ID和注释点的数量。在注释过程中，可以随时执行写入操作。该工具还可以通过加载相应的已保存标签文件来加载已标记或未完成标记的点云。这是一个有用的功能，可以在不同的会话之间分割标签过程，或者只是验证保存的标签。此功能区还启用了原始点云的配准。点云配准是一种广泛使用的操作，可以帮助同时标注多个点云帧。然而，在现有的标签工具中，这一功能通常被忽略。在PC Annotate中，可以在注释之前注册多个点云。在许多情况下，这会显著提高注释效率。该工具采用了流行的迭代最近点（ICP）算法进行配准。这一过程的精度高于高端最先进的激光雷达传感器。
C. 标准摘要面板
在图2的左下角，该面板显示场景标签的进度摘要,每次按下“写入文件”按钮时，都会更新摘要，并提供有关类名、类ID、实例ID和该实例点数的信息,它按照类ID的升序对值进行排序。
D.形状调整工具栏和查看窗口控件
PC-Annotate提供规则的几何形状，如球体、长方体和圆柱体，以限定标注点云，“形状调整”工具栏提供了调整这些形状的控制柄。
E.处理带状物
深度学习文献中的常见做法是将点云处理为从大型点云中提取的较小体积样本，最常见的方法是在地面上定义一个N×N区域，并在该区域上切片一个体积的点云。在该卷中，选择固定数量的点，用深度学习模型处理样本,选择10×10面积，每个样本选择4096个点，是文献中最常见的设置之一,在我们的PC Annotate的当前版本中，HDF5Converter按钮直接在基础区域10×10的互斥块中对点云进行采样，这样每个样本有4096个点。由该按钮生成的HDF5文件可以很容易地用作PointNet和PointNet++等流行网络的输入。
在图3中，我们展示了PC Annotate产生的代表性样本。在这些样本中，如果一个体积包含4096个以上的点，则随机抽取所需的4096个点。
作者总结了图4中建议的PC注释的流程，以便更高层次地理解该工具的操作：
F. PC-ANNOTATE的优势
除了商业工具，没有专门的3D点云注释工具，因此，研究界采取了复杂的做法来解决这个问题。例如，都柏林城市数据集使用CloudCompare进行注释，CloudCompare实际上仅用于点云可视化，而不是注释。它的主要功能是将点云划分为若干段，从而对几何复杂的形状进行繁琐的注释，与PC-Annotate不同，CloudCompare也没有适当的标签和统计功能。
本文提出的PC标注是一种专门的、高效的、用户友好的三维点云语义分割注释工具，它允许在所有比例下精确标注复杂的几何形状，PC-Annotate使用硬件加速的OpenGL图形来提高计算效率，为了展示我们工具的用户友好性和效率。
在表1中报告了四名随机用户（本科生）在PC Urban（建议的户外数据集）的七个随机场景上的注释时间。PC Urban每个场景的平均注释时间为16.4分钟。
用户对PC Annotate的学习曲线如图5所示，图表显示PC Annotate对用户友好。在标记了几个帧后，新用户的标注时间缩短了。
表2报告了不同对象的可用几何形状和PC Annotate操作的注释时间。这些结果表明，平均而言，PC Annotate可以在大约半分钟内利用可用功能标记超过3K个点，这是非常理想的
PC-URBAN数据集
这里介绍了一个大规模的真实室外点云数据集。提议的数据集被部分标注，并使用用于群组源标记的注释工具发布。数据收集于西澳大利亚州珀斯市中心10公里范围内。通过驾驶安装了激光雷达的SUV通过各种路线，在各种白天时间和条件下进行采集。
图6，收集的数据大小约为50 GB。数据被组织成未标记和标记的3D点云
如图7所示，未标记的数据在中提供，PCAP文件格式，这是所用驱逐激光雷达传感器的直接输出格式。从记录的图像中提取原始帧，使用Outster Studio软件以Ply和Excel文件的形式提供PCAP文件，带标签的三维点云数据由注册点云或原始点云组成。带标签的点云是Ply、Excel、标签和摘要文件的组合。Ply文件中的点云包含x、y、z值以及颜色信息。Excel文件包含x、y、z值、强度、反射率、环、噪波和每个点的范围，这些属性在使用深度学习算法进行语义分割时非常有用。
图9 点云城市数据集的代表性标注框架，用Point Cloud标记,最后一列显示已配准的带标签的帧数据。
表3，用于语义分割任务的流行当代3D点云数据集，室内数据集以红色突出显示。
实验
为了提供一个基础线，我们评估了三种流行的点云分割深度学习方法在我们的数据上的性能，即PointNet、PointNetCC和PointConv。这些实验也为PC Annotate和我们的数据提供了一个建议性的设置，结果突出了所提出的数据集的可用性。
表4，提出的和现有的3D点云数据集上流行技术的语义分割结果。
表5，PointNetCC和PointConv在PC城市代表类中的分类性能
图10展示了使用现有方法进行全场景标签预测的代表性示例，注意：为了更好的可视化，一些类的颜色已经改变。
总结
训练有效的点云深度学习模型需要大量带标签的数据，然而，目前还没有有效的公共工具来注释大型点云数据集，本文通过引入PC Annotate—一种用户友好的3D点云综合公共标注工具，填补了这一空白，该工具不仅能够高效地标记大型点云，还提供了配准原始帧的功能，以便为深度学习模型同时标记和准备数据。我们还介绍了PC Urban，这是一个针对城市环境的具有挑战性的现实世界大规模点云数据集。该数据集为66K帧提供43亿个点云数据，使用PC Annotate，我们在数据集中标记了25个类，还使用三种流行的深度学习技术为数据集提供了点云语义分割的基线结果。
注：暂未找到此工具，论文可在知识星球中下载。