Toronto-3D：用于城市道路语义分割的大规模移动激光雷达数据集

文章：Toronto-3D: A Large-scale Mobile LiDAR Dataset for Semantic Segmentation of Urban Roadways

作者：Weikai Tan1 , Nannan Qin1,2, Lingfei Ma1 , Ying Li1 , Jing Du3 , Guorong Cai3 , Ke Yang4 , Jonathan Li1,4* 1Department of Geography and Environmental Management

代码：https://github.com/WeikaiTan/Toronto-3D

编译：点云PCL

本文仅做学术分享，如有侵权，请联系删除。内容如有错误欢迎评论留言，未经允许请勿转载！

摘要

大规模室外点云的语义分割对于城市场景理解具有重要意义，尤其是在自动驾驶和城市高精地图中。随着移动激光扫描（MLS）系统的快速发展，大量的点云可以用于场景理解，但是对于开发基于深度学习的方法来说，公开的大规模标记数据集仍然是有限的。本文介绍了加拿大多伦多MLS系统获取的用于语义分割的大型城市室外点云数据集Toronto-3D。这个数据集覆盖了大约1公里的点云，由大约7830万个点和8个标记的对象类组成。实验结果表明，该数据集能够有效地训练深度学习模型。Toronto-3D发布是为了鼓励新的研究，标签将根据研究社区的反馈进行改进和更新。

主要贡献

本文介绍了一个由MLS系统采集的大型城市室外点云数据集Toronto-3D。这个数据集覆盖了1公里的街道，由大约7830万个点组成。该数据集的一个样本如图1所示。

本文的主要贡献是：

•提出了一个大规模的按点云标注的城市室外点云数据集用于语义分割，

•研究了一个用于点云语义分割的集成网络，

•对提出的数据集上应用最先进的深度学习语义分割方法进行广泛比较。

图1.数据集的一部分。顶部：具有自然颜色（RGB）的数据集。底部：类标签

表1显示了综合指标与之前的数据集的对比结果

主要内容

Toronto-3D

该数据集中的点云是通过车载MLS系统Teledyne Optech Maverick2获得的。该系统由32线激光雷达传感器、ladybug5全景相机、GNSS系统和同步定位与建图（SLAM）系统组成。该激光雷达传感器可以捕捉点云在高达700000点每秒在垂直视野覆盖-10◦ 至+30◦ , 精度优于3厘米。利用LMS-Pro3软件对采集到的点云进行进一步处理。该数据集收集于加拿大多伦多的Avenue Road，覆盖约1km路段，约7830万个点。该数据集分为四个部分，每个部分覆盖的范围约为250米。图2中示出了每个部分的近似边界的概述。

图2.数据集概述。上图：数据集中每个部分的大致边界（来自Google地图的卫星图像）。底部：标签概述（每个类有不同的颜色）。

与以前的数据集类似，定义了对象类标签具体如下： •道路（标签1）：铺砌路面，包括人行道、路缘、停车场 •道路标记（标签2）：路面标记，包括行驶路线、箭头、人行横道 •天然树木（标签3）：树木、灌木，不包括草还有裸露的土壤 •建筑物（标签4）：低层和多层的任何部分建筑物、店面 •公用线路（标签5）：电力线、电信 •电线杆（标签6）：电线杆、交通标志、灯柱 •汽车（标签7）：在道路上行驶的汽车和停放的汽车侧面和停车场 •围栏（标签8）：垂直屏障，包括木制建筑工地的围墙 •未分类（标签0）

在该数据集中各个标签的统计如表2

使用Toronto-3D的语义分割方法的结果如表3所示。

KPFCNN和MS TGNet语义分割结果的直观比较如图4所示。

图4.语义分割结果的视觉比较

总结

本文介绍了一个由MLS系统采集的大型城市室外点云数据集Toronto-3D。数据集覆盖了加拿大多伦多约1公里的道路，超过7800万个点。所有点云数据都保留在数据收集范围内，以类似于实际应用场景。该数据集被手动标记为8个类别，包括道路、道路标记、自然树木、建筑、公用线路、电线杆、汽车和围栏。五个最先进的端到端点云语义分割算法和一个名为MS-TGNet的网络被测试为这个数据集的基准。所提出的MS-TGNet能够产生与最新方法相比较的性能，在新的数据集中实现最高的mIoU（60.96%）和有竞争力的OA（91.69%）。Toronto-3D数据集提供了新的类标签，包括道路标线、公用事业线和围栏，所有测试过的语义分割方法都需要改进道路标线和围栏。展示这个新的点云数据集的目的是鼓励开发创造性的深度学习模型。这个新数据集的标签将根据研究界的反馈加以改进和更新。