ICCV2023 首个城市级别的基于航空点云的房屋建模数据集 Building3D

图1：Building3D数据集中最大的城市Talinn以及建筑物和房屋点云，mesh和线框模型。

总览

为了促进测绘领域实景三维重建的发展，我们提出了Building3D(Building3D: An Urban-Scale Dataset and Benchmarks for Learning Roof Structures from Point Clouds)，一个高质量的基于航空点云的房屋建模数据集。本数据集有三个主要优势：

1. 真实世界：区别于现有的人工构造的三维建筑物数据集，它由真实世界的爱沙尼亚共和国的建筑物构成。
2. 类别丰富：覆盖了100多种房屋类型的约16万个三维点云建筑物数据。
3. 标注丰富：包括了建筑物和房屋屋顶的表面点云，mesh和线框模型。

Building3D是目前学界最大的真实世界三维模型数据集，为未来的实景三维白模建模研究提供了广阔空间。利用该数据集，我们探讨了房屋表面重建，点云补全，去噪去野值，三维模型生成等多种学术任务的鲁棒性和泛化性，提出了很多有价值的发现，并验证了其从去躁去野值、三维重建到三维模型生成的开发应用前景。我们希望building3D以及对应的算法基准测试能够为学术研究和工业应用带来新的挑战和机会。

• Project page: http://building3d.ucalgary.ca/
• Paper: https://arxiv.org/abs/2307.11914
• Dataset Download:
  1. 入门级水平数据集现已开放。
  2. Tallinn 城市数据将在8.15号之前发布
  3. 测试服务器也将在8.15号前可用

背景介绍

面向真实世界的三维重建与模型生成是测绘领域与智慧城市构建一直倍受关注的问题，也在近年来取得了一定的进展。然而，由于学术界和工业界缺乏大规模的实采 3D 建筑物数据库，大部分技术方法仍依赖于仿真和质量有限的ROOFN3D[1]数据集。因此，社区迫切需要一个大规模且高质量的真实世界 3D 建筑物数据集，这将有助于推进许多3D重建任务和下游应用。

数据集特点

Building3D为每一个建筑物提供了三种模态信息，包括：建筑物和屋顶点云、建筑物和屋顶mesh模型和建筑物和屋顶的线框模型。它具有100多种房屋模型，下图二展示了一些经典房屋类型以及它们对应的点云，线框（俯视图以及侧视图）以及屋顶和线框mesh模型。

图2：Building3D数据集中典型的10种房屋类型对应的点云、俯视图和侧视图的线框图以及房屋和线框图对应的mesh模型。

同时由于是真实世界中的数据集，可能也存在点云稀疏以及建筑物棱角点消失以及建筑物棱角点数量过多的情况。

下游应用

Building3D为学界带来了广泛的探索空间，在本文中，我们选取了三维建筑物重建任务见图3进行评估与分析。我们提出一个统一的有监督和自监督的端到端房屋建模框架，将三维重建任务分成两部分：1）建筑物棱角点检测识别；2）建筑物有效边连接工作。

图3：三维建筑物重建结果

未来工作

关于数据集本身，我们会致力于不断扩大和更新数据集以满足更广泛的研究需求。除了现有的应用，我们还计划进一步发展其他下游任务，如稀疏点云补全，语义分割和如何在棱角点消失的情况下生成棱角点，提高棱角点检测准确度等问题。

参考文献

[1] Wichmann, Andreas, et al. "RoofN3D: A database for 3D building reconstruction with deep learning." Photogrammetric Engineering & Remote Sensing 85.6 (2019): 435-443.