深度学习点云质量增强方法综述

作者：陈建文，赵丽丽，任蓝草，孙卓群，张新峰，马思伟

来源：《中国图象图形学报》

编辑：东岸因为@一点人工一点智能

00 引言

随着三维探测技术的发展，点云逐渐成为最常用的三维物体/场景表征的数据类型之一，广泛应用于自动驾驶、虚拟/增强现实、文物修复以及虚拟导览等诸多场景。

受限于采集环境及硬件、物体间遮挡等因素，当前获取的点云数据通常会出现结构残缺、点集稀疏或存在噪声干扰等质量受损的情况，而上述应用场景往往需要高质量的点云进行处理分析。因此，点云质量增强技术至关重要，该技术将有益于提高一系列下游机器感知任务的性能及人眼视觉体验。与二维图像/视频不同，三维点云一般包含点的空间坐标及其对应的属性信息（颜色、法向量及反射强度等）。

点云数据通常具有无序、无规则及稀疏的特性，这就意味着直接采用现有图像/视频质量增强方法对其进行处理较为困难。因此，设计点云质量增强算法的需求日益增长，且充满挑战。

点云质量增强方法按照增强的侧重点不同，可分为点云补全、点云上采样（超分辨率）和点云去噪。点云补全旨在对残缺的点云进行结构补全以恢复完整的点云信息；点云上采样旨在对输入的低分辨率（稀疏）的点云，基于先验信息重建出高分辨率（稠密）的点云；点云去噪则旨在去除点云（存在噪声干扰）中的噪声点。

点云质量增强的研究可追溯到21世纪初（Alexa等，2003）。传统点云质量增强方法高度依赖点云结构先验信息以及辅助信息， 仅能处理如在形状数据库中存在真值模板的点云数据（Mitra等，2006）或具有准确法向量标定的点云数据（Huang等，2013）等。近年，基于深度学习的方法借助深度卷积神经网络强大的特征学习能力，获得了更佳的点云质量增强性能，受到了众多学者的广泛关注。因此，本文将对基于深度学习的点云质量增强方法展开综述。

根据输入数据的不同类型，基于深度学习的点云补全方法可分为基于体素的方法，如Sharma等人（2016）和Han等人（2017）的方法等，以及基于点的方法，如Yuan等人（2018）和Liu等人（2020）的方法等。基于点的方法可进一步划分为基于编码器—解码器结构的方法，如Tchapmi等人（2019）的方法，以及不采用编码器—解码器结构的方法，如Xie等人（2021）的方法。其中，基于编码器—解码器的方法，又可划分为基于编码器—解码器普通结构的方法，如Wen等人（2020）的方法，以及基于编码器—解码器—生成对抗网络结构的方法，如Wang等人（2020a）的方法。根据网络的主要结构特点，基于深度学习的点云上采样方法可大致划分为基于卷积神经网络的方法（如Yu等人（2018）的方法），基于GAN的方法（如Li等人（2019b）的方法），以及基于图卷积神经网络的方法（如Qian等人（2021a）的方法）。基于深度学习的点云去噪方法可根据是否采用编码器—解码器结构分为两类：基于编码器—解码器结构的方法，如NPD（Duan等，2019），以及不采用编码器—解码器的方法，如GPDNet（Pistilli等，2020）等。本文对基于深度学习的点云补全、上采样以及去噪方法分别展开介绍并对比了性能。全文组织架构如图1所示，各分类对应的优缺点总结参见表1。

图1 基于深度学习的点云质量增强技术总览

表1 基于深度学习的点云质量增强任务总结

01 关键技术

在对基于深度学习的3类点云质量增强方法的基本结构进行梳理归纳后，本节总结介绍了深度卷积神经网络应用于点云质量增强时通用的基础知识和关键算法模块。

1.1 点云先验知识

点云一般包含点的三维坐标和对应的属性信息（颜色、法向量和反射强度等），其主要具备两种特点：1）置换不变性（即无序性，如图2），点集中的各个点没有固定的顺序；2）刚体旋转平移不变性（如图3），即对点云进行旋转和平移操作后，不会改变点云的形状。

图2 置换不变性

图3 旋转不变性

1.2 PointNet与PointNet++

随着深度学习技术的兴起，面向点云分析的深度卷积神经网络也迅速出现并不断发展。其中，PointNet（Qi等，2017a）和PointNet++（Qi等，2017b）是后续大量相关工作的技术基础。

PointNet的网络结构如图4所示。该网络引入了T-Net（transformation network）对输入点云及中间特征进行变换，并利用一系列多层感知器（multilayer perception，MLP）及最大池化层提取点云的特征。其中，MLP将点云映射到高维特征空间，并使用具有对称函数特征的最大池化层以保证网络处理过程中点云数据的置换不变性；T-Net由点特征提取、最大池化及全连接层等基本模块组成，用于生成一个仿射变换矩阵，从而对点云的旋转、平移等变化进行规范化处理。

图4 PointNet网络结构（Qi等，2017a）

尽管PointNet的设计考虑了点云的置换不变性和旋转平移不变性，但网络暴力地将所有的点通过最大池化生成为一个全局特征，因此并不能较好地学习到点与点之间的局部关联性。

在PointNet的基础上，PointNet++加强了对局部特征的学习，其结构如图5所示。PointNet++借鉴了传统CNN中多层感受野的思想，建立了分层学习机制，通过在小区域内构建“点云采样—点云分组—局部特征提取”的模式，学习点云局部区域的特征。

图5 PointNet++网络结构（Qi等，2017b）

PointNet和PointNet++作为最具代表性的点云分析算法，极大地推动了深度学习在点云分析中的应用发展，其技术思想已广泛应用于点云处理任务，例如点云上采样（Yu等，2018）、点云补全（Yuan等，2018）和点云去噪（Rakotosaona等，2020）。

1.3 边缘卷积模块（EdgeConv）

与二维图像不同，点云缺乏空间几何拓扑关系，PointNet（Qi等，2017a）忽视了点与点之间的几何相关性，故影响了模型的整体性能。针对这一问题，DGCNN（dynamic graph convolutional neural network）（Wang等，2019a）提出了边缘卷积模块（edge convolution，EdgeConv）捕获空间局部几何信息，并融合点间局部关系与全局信息的边特征，如图6所示。

图6 EgdeConv网络结构（Wang等，2019a）

1.4 折叠解码器（FoldingNet）

FoldingNet折叠解码器（Yang等，2018）是一种通用的点云重构方法，其基本结构如图7所示。这种折叠解码方法的本质是二维—三维的映射操作，可看做是一种将编码器的输出作为参数用以指导网格点结构参数化的高维函数。

在FoldingNet（Yang等，2018）所完成的视觉任务中，主要包含两次折叠操作：1）将二维网格折叠到3D空间中；2）在3D空间进一步折叠细化。相比于全连接解码器，折叠解码器能够更好地构建出点云的完整结构（Yuan等，2018）。因此，许多点云补全与上采样算法中都采用了折叠解码器的思想进行点云重建，如（Yuan等，2018；Li等，2019b）等。

图7 FoldingNet网络结构（Yang等，2018）

02 基于深度学习的点云补全算法

由于环境、硬件设备以及物体间的遮挡等原因，传感器采集到的数据点往往是不完整的。点云补全旨在对于一个残缺或局部的输入点云，生成一个具备完整形状的点集。

根据处理数据的类型，基于深度学习的点云补全算法可分为基于体素的方法，如（Sharma等，2016）等，以及基于点的方法，如（Yuan等，2018）等。本节对具有代表性的算法展开了综述，算法发展时间轴如图8所示，并总结了各算法的特点及优缺点，如表2所示。

图8 基于深度学习的点云补全算法时间轴

表2 具有代表性的基于深度学习的点云补全算法总结

2.1 基于体素的方法

由于点云的不规则性和无序性，普通卷积不能直接应用于3D点云，一些方法（Sharma等，2016；Dai等，2017；Varley等，2017；Han等，2017；Liu等，2019）将点云二值体素化后，再应用3D卷积神经网络进行处理。

Sharma等人（2016）采用全卷积的体素化自编码器VConv-DAE，端到端地学习体素到体素的映射关系。Dai等人（2017）通过3D-EPN推断出粗略形状后，基于最近邻的体积补丁合成方法实现进一步细化。在其基础上，Han等人（2017）额外引入了局部编码器—预测器结构，在全局结构推理网络的指导下，通过局部几何细化网络逐步生成完整的表面。

虽然此类基于三维卷积的补全算法得到了飞速发展，但体素化本身依旧会带来量化效应，在转化的过程中导致原始点云几何信息的不可逆损失，无法保证细粒度。为此，Xie等人（2020）引入 3D 网格以表征无序点云，并提出一种新颖的网格化残差网络（gridding residual network，GRNet），通过两个可微分层在不丢失结构信息的情况下实现点云和 3D 网格之间的转换，但其仅适用于低分辨率点云的补全。为此，Wang等人（2021b）提出了VE-PCN，在边缘假想图（hallucinated edges）的指导下，提取结构信息并生成物体边缘以实现高分辨率点云的补全。此外，也有部分研究者专注于弱监督算法的实现（Stutz和Geiger，2018）及计算成本与内存需求的优化（Liu等，2019）。

2.2 基于点的方法

随着3D卷积的发展，基于体素的补全算法不断地更新迭代，取得了较好的补全效果。但其仍然存在着很大的局限性：1）点云的体素化表示存在较大的空间冗余，存储成本高；2）体素或3D网格的大小难以确定；3）体素化会带来量化效应，造成信息损失。

因此，在PointNet（Qi等，2017a）和PointNet++（Qi等，2017b）的结构基础上，基于点的补全方法得到广泛研究，这类方法直接作用于原始点云，对其空间结构特征给予充分考虑，并解决了基于体素的方法所带来的存储成本过高和量化误差的问题，实现了更少参数的高分辨率点云补全。根据是否采用编码器—解码器结构，基于点的方法可以划分为两类。

2.2.1 基于编码器—解码器的方法

基于编码器—解码器结构的方法可按照是否采用GAN结构进行二次分类，即基于编码器—解码器普通结构的方法与基于编码器—解码器—GAN结构的方法。

1）基于编码器—解码器普通结构的方法。Encoder-Decoder（编码器—解码器）结构是基于点的补全模型中最常使用的一种结构。Yuan等人（2018）提出的PCN（point completion network）是点云补全领域第1个直接对3D坐标进行处理的机器学习架构。其编码器将输入点云投影为高维全局特征向量，解码器采用折叠网络（Yang等，2018）（如图7）的思想模拟二维平面变形，将代表点云特征的二维网格点映射到三维空间。

随后，许多类似的方法（Tchapmi等，2019；Zhang等，2020a；Zhao等，2022b；Wang等，2022d）不断涌现，实现了更高分辨率、更好鲁棒性的点云补全。然而，直接应用编码器—解码器架构的模型仅基于嵌入的全局特征构建完整的形状，往往导致细粒度信息的丢失。因此，如何更好地学习点云局部结构特征，成为实现高质量精细化补全的关键问题。针对该问题，现有工作主要集中于3个方面：（1）探索多阶段或多路径；（2）局部特征学习效率；（3）全局特征与局部特征融合。

在多阶段或多路径复原策略的尝试中，Liu等人（2020）引入细化模型，首次将点云补全分为“粗糙—细化”两个阶段。类似地，FinerPCN（finer point cloud completion network）（Chang等，2021）也沿用此思路。部分工作（Luo等，2020；Pan等，2021；Xia等，2021）提出双路径多分支的体系结构，基于特征匹配的思想，以残缺点云和完整点云分别作为两分支输入对模型进行训练。

为了提升局部结构特征的学习效率，Wen等人（2020）提出了一种包含跳跃连接的注意力机制模型，将局部区域细节特征与对应分辨率层级连接，提升了对局部特征的利用率。PoinTr（Yu等，2021）与PCTMA-Net（point cloud Transformer with morphing atlas-based point generation network）（Lin等，2021）将Transformer（Vaswani等，2017）应用于补全，将补全问题转换为“残缺点云—完整点云”的翻译任务，更好地表征了点云空间特征与空间结构关系。此外，考虑到图的拓扑关系可以表征点云的空间结构，Pan（2020）首次将图卷积引入点云补全领域，提出了一种边缘感知补全结构。类似地，Wu和Miao（2021）与张京军等人（2022）也在补全工作中采用了图卷积结构。

除了考虑局部特征的提取效率，全局特征与局部特征的融合策略对于补全性能的提升也有重要影响。SoftPoolNet（Wang等，2020c）提出了一种新的特征融合方法（softmaxing），在不同分辨率层级进行多次最大池化，保留多个高激活度的特征，减少了编码带来的损失。Son和Kim（2021）设计了一个可以从编码器中间层捕获局部上下文多层信息的模块SAUM，各个层级的特征在该模块中被扩展、聚合，实现几何细节的精细复原。

此外，也有部分研究专注于解决内存消耗（Huang等，2021）、位姿对齐（Shi等，2022）和多对象点云补全（Zhao等，2022b）等额外问题。

2）基于编码器—解码器—GAN结构的方法。近年来，生成对抗网络得到了广泛的研究，在一些应用上取得了较好的效果。因此，研究者尝试在编码器—解码器基础上引入GAN，以实现更好的点云补全性能，如，赵新灿等人（2021a）、Cheng等人（2021）、Liu等人（2022a）等。与基于编码器—解码器普通结构的方法类似，额外引入GAN结构的方法也着重于重建精细的局部结构。通过“粗糙—细化”双阶段补全（Wang等，2020a）、采用Transformer（Vaswani等，2017）结构（Liu等，2022a）等方法，对GAN进行优化，以获得更加细节化的点云。同时，为了加强对点云个体特征的学习，而非只关注其所属类别特征，Huang等人（2020）提出了基于多分辨率编码器和金字塔解码器的PF-Net（point fractal network）。Chen等人（2022b）和Zhu等人（2021）在其基础上，分别通过拓展MLP层级结合范围和点秩采样（point rank sampling，PRS）进一步改进补全效果。

此外，也有部分研究者（Sarmad等，2019）尝试将强化学习（reinforcement learning，RL）与GAN网络结合，使用RL代理作为隐式空间的表征控制GAN，从而降低优化的复杂度，提高网络效率。同时，由于GAN强大的生成能力，该结构广泛应用于基于无监督学习的点云补全任务（Chen等，2020；Wen等，2021a；Wang等，2022c； Cai等，2022）。

2.2.2 不采用编码器—解码器结构的方法

尽管基于编码器—解码器的结构在点云补全任务中得到广泛运用，但此类仅使用隐式特征编码的点云生成方法难以捕捉离散点的详细拓扑结构。于是，研究者探索了如基于“粗糙—细化”框架的SFA-Net（separated feature aggregation network）（Zhang等，2020b）、GAN的逆映射（Zhang等，2021b）、基于流的网络（Bao等，2022）、基于生成树思想的雪花点反卷积（snowflake point deconvolution）网络（Xiang等，2021）、基于三维曲面函数的网络（Yan等，2020）、基于特征风格的SpareNet（style-based point generator with adversarial rendering）（Xie等，2021）和SeedFormer（Zhou等，2022a）等其他不同结构的补全网络架构。此外，SK-PCN（skeleton-bridged point completion network）（Nie等，2020）将点云补全划分为结构估计和表面重建两个阶段。Tang等人（2022）也采用了这种“骨架—形状”的补全思路，并设计了非对称关键点定位器实现关键点的对齐。Wen等人（2021b）通过建立完整点云和残缺点云间的逐点对应关系，预测点的移动路径。随后，Wen等人（2023）在此基础上引入了Transformer（Vaswani等，2017）框架，改进特征提取模块。

03 基于深度学习的点云上采样算法

点云上采样的任务是：给定一个输入点云，在不破坏其几何结构信息的前提下，对其进行上采样，从而生成一个较密集的点云。

根据网络的主要特点，基于深度学习的点云上采样方法可大致划分为：1）基于卷积神经网络的方法；2）基于GAN的方法；3）基于图卷积神经网络的方法。

本节对具有代表性的算法展开综述，算法发展时间轴如图9所示，并总结了各算法的特点及优缺点，如表3所示。

图9 基于深度学习的点云上采样算法时间轴

表3 具有代表性的基于深度学习的点云上采样算法总结

3.1 基于卷积神经网络的方法

Yu等人（2018）提出的PU-Net是首个将深度学习用于点云上采样的模型。它以PointNet++（Qi等，2017b）作为分层特征提取模块，提取并聚合不同分辨率层级下的点云特征。在其基础上，Yu等人（2018）采用4个损失函数确保生成点在边缘处的良好聚集性，及在平面附近的均匀性。这些方法虽然取得了较好效果，但仍无法填补较大空洞，局部细节较为粗糙。因此，一些上采样工作通过探索其他特征学习方式以提高局部精细度。

Wang等人（2019b）提出一种级联渐进式模型，其由一系列具有相同结构的上采样单元组成，用于处理不同采样率层级的点云，大大提升了现有上采样模型的性能。Zhang等人（2021c）以U-Net（Ronneberger等，2015）为基础，通过使用基于PointNet++的下—特征算子和基于FoldingNet（Yang等，2018）的上—特征算子，实现渐进式的特征学习。Li等人（2021）提出了一个用于点云上采样的解耦细化框架Dis-PU，将上采样任务分解为“粗糙—细化”两个步骤。PUGeo-Net（Qian等，2020）将离散微分几何与深度学习相结合，在二维参数空间中对点云进行扩展后，再映射到三维空间。该方法也额外补充了每一个点所对应的法向量，进一步提升了三维信息的丰富度。此外，SSPU-Net（Zhao等，2021b）首次提出了基于自监督学习的点云上采样模型。

然而，大多数点云上采样工作仅针对单对象稠密点云，而没有考虑复杂场景点云。针对这个问题，Chen等人（2023b）提出了一种面向LiDAR（light detection and ranging）点云的上采样方法LiUpNet，该方法引入一种基于Transformer（Vaswani等，2017）的局部特征提取算法，以实现对自然复杂场景的鲁棒性表征。

此外，目前大多数点云上采样算法都是针对单帧点云进行处理，忽略了点云序列的时域相关性。针对这个问题，Wang等人（2021a）提出了基于时空域相关性的点云上采样框架SPU，对于输入的动态点云序列，生成具有时域一致性且更精细的点云。然而，不同于以往的基于补丁的点云上采样方法，SPU框架使用整个帧作为输入，因此仅适用于简单点云对象数据集（如人体、人脸）。针对该问题，Wang等人（2022b）进一步提出了一个基于补丁的点云序列上采样框架VPU，用补丁策略替代整帧输入，从而更有效地利用了低分辨率点云帧序列的时域相关性。

综上所述，依托于深度神经网络的大量研究基础，基于卷积神经网络的方法仍是点云上采样领域的主流结构。然而，使用基于卷积神经网络简单复制特征从而生成新点的上采样策略，容易阻碍网络模型学习特征细节（Liu等，2022a），造成上采样后点云结构细节的缺失。因此，更多的网络结构（如生成对抗网络和图卷积结构）被引入到点云上采样工作中。

3.2 基于GAN的方法

考虑到GAN结构在隐式特征学习方面的巨大优势，Li等人（2019b）首次尝试将GAN应用于点云上采样，提出了PU-GAN。其中，使用MPU（Wang等，2019b）中特征提取模块的生成器以生成较为密集、均匀的点云，同时采用点云补全网络PCN（Yuan等，2018）结构的鉴别器对生成点云进行判别，并计算置信度。PU-Refiner（Liu等，2022a）采用与PU-GAN（Li等，2019b）类似的结构，并引入了细化模块，以合成的粗糙上采样点云及其特征作为输入，通过多头Transformer（Vaswani等，2017）预测坐标偏移特征，实现结构细节的进一步调整。ZSPU（Zhou等，2022b）则基于生成对抗网络框架，设计了以整个点云而非补丁点云作为唯一输入的点云上采样方法，避免了预处理补丁步骤及复杂的训练设置，并减少了训练样本的数量和时间。

相较于传统的卷积神经网络，GAN能够通过生成器和鉴别器之间的对抗，更好地学习点云的真实分布特点。然而，由于生成器和鉴别器之间难以平衡，成功地训练GAN模型有一定的挑战性（Li等，2019b）。

3.3 基于图卷积神经网络的方法

考虑到图卷积神经网络在提取空间拓扑结构上的优势（张新良 等，2020；宋巍 等，2021），研究者尝试将图卷积结构应用于点云上采样。PU-GCN（Qian等，2021b）在GCN（Li等，2019a）的基础上提出可动态聚合相邻点信息的DenseGCN模块。

Flexible-PU（Qian等，2021b）、Meta-PU（Ye等，2022）、SAPCU（Zhao等，2022a）、NeuralPoints（Feng等，2022）等探索了如何利用图卷积实现任意尺度的点云上采样。其中，Flexible-PU（Qian等，2021b）基于局部几何结构以自适应地学习插值权重。Meta-PU（Ye等，2022）基于元学习来预测网络的权重，并动态地改变每个比例因子，以实现动态点云上采样。

考虑到稀疏点云由于信息损失导致相关语义任务性能不佳的问题，Li等人（2022）提出由上采样和分类模块共同组成的语义上采样网络，用上采样结果在分类模块上的表现作为监督信号从而训练上采样模块。

最近，更多的工作基于图卷积结构提出了新颖的方法。Mao等人（2022）提出了点云上采样框架PU-Flow，借助标准化流的可逆能力，无损地在欧几里得空间和隐式分布之间转换点云。SPU-Net（Liu等，2022b）通过从下采样的补丁中反复上采样的方式实现自监督的点云上采样，并通过 “粗糙—细化”的框架及自投影优化损失提升上采样的性能。BIMS-PU（Bai等，2022）则通过结合特征金字塔结构和双向上/下采样途径，产生多尺度点特征层次，聚合出更具细节性的特征。

综上所述，图卷积结构通过利用图拓扑结构学习点与点之间的联系，帮助点云上采样网络聚合点邻域信息，从而提升对结构细节的学习能力。然而，点云网络中的图卷积结构往往需要借助K-近邻算法建立邻域关系，往往引入较高的计算复杂度。此外，不同点云类型也将影响网络中邻域范围的划定，即K-近邻中K值的选取，将为实验带来一定的复杂度提升。

04 基于深度学习的点云去噪算法

受扫描设备以及环境因素影响，采集到的点云数据通常受到噪声的干扰。点云去噪的任务是：给定一个存在噪声的点云，在不破坏其原本几何结构的前提下，尽可能去除其中的噪声点。现阶段基于深度学习的点云去噪方法可根据是否采用编码器—解码器结构分为两类。本节对具有代表性的基于深度学习的点云去噪算法展开了综述，算法发展时间轴如图10所示，并梳理总结了算法的特点及优缺点，如表4所示。

图10 基于深度学习的点云去噪算法时间轴

表4 具有代表性的基于深度学习的点云去噪算法总结

4.1 基于编码器—解码器结构的方法

Duan等人（2019）提出基于神经网络的去噪架构NPD，使用卷积神经网络学习点云的全局和局部特征，通过将噪声点投影到估计参考平面，实现去噪。

在其之后，许多类似的工作纷纷涌现（Duan等，2019；Zhang等，2021a；Luo和Hu，2020）。罗开乾等人（2020）提出了一种可微流形重构的点云去噪方法，在下采样—上采样的架构中学习噪声点云的底层流形（表面）进行重建。考虑到在实际应用场景中，不存在无噪声真值点云，Casajus等人（2019）提出了一种无监督的点云去噪方法，该方法采用基于蒙特卡洛卷积（Hermosilla等，2018）的编码器—解码器结构，以空间局部相关性和双边颜色外观作为先验信息，将点云映射到自身，无需监督信号即可完成模型的训练。实验结果表明，即使使用相同数量的训练示例，该方法仍然优于同期有监督学习的方法。

此外，不同于以往针对单物体的去噪，Gao等人（2022）首次将深度学习应用于大规模场景点云反射强度中噪声的去除。将点云场景转换为包含反射强度的二值距离图后，再采用基于Transformer架构（Vaswani等，2017）的算法进行噪声的分割与去除。

4.2 不采用编码器—解码器结构的方法

现阶段，基于编码器—解码器结构的点云去噪算法大多聚焦于点云高维特征提取效率的提升，以实现更精准的点云噪声点去除。与此同时，部分研究者也对图卷积、循环神经网络（RNN）等其他各类结构进行了充分的探索与尝试。

基于PointNet的变形网络模型PCPNet（Guerrero等，2018），PointCleanNet（Rakotosaona等，2020）采用两个PCPNet分别完成移除离群点（Outliers）和学习偏移向量（每个点的噪声偏移向量）两个子任务。此外，也有一些工作基于图卷积神经网络实现点云去噪。Pistilli等人（2020）提出了一种基于图卷积神经网络的点云去噪模型GPDNet，根据点云高维表征之间的相似性，动态地构建点云邻域关系。相比于直接在XYZ空间中定义，该方法能够更精准地为不同点之间的潜在相关性进行建模。在此基础上，Pistilli等人（2021）对GPDNet进行改进，并提出了GPODNet：所提取的点云空间特征分别进入两个分支：1）基于点二分类器的异常点去除分支；2）基于图卷积和残差的点云去噪分支。

在噪声点云分布模型的启发下，Luo和Hu（2021）将噪声点云建模为噪声卷积分布的样本，并设计神经网络结构以估计分布的分数。之后，Chen等人（2023a）对其进行了改进，基于K-近邻算法设计了连续梯度场估计网络，并采用马尔可夫链蒙特卡洛（MCMC）算法对退化的点云进行重采样。考虑到RNN在特征聚合方面的优势，RePCD-Net（Chen等，2022a）设计了4个关键模块：多尺度邻域采样模块、多尺度特征提取模块、多尺度特征聚合模块以及点云重建模块。得益于整体循环结构与残差估计对噪声的精确建模，该网络能够在去噪的同时，较好地保留原始点云的局部几何结构特征。

05 性能评估

本节对常用点云数据集进行了归纳总结，梳理了广泛应用于性能评估的多种评价指标及其适用范围，并对比分析了各代表性算法的性能。此外，本文汇总了涉及的文献及其开源代码，详见链接https://github.com/LilydotEE/Point_cloud_quality_enhancement。

5.1 常用数据集

本小节介绍在基于深度学习的点云质量增强任务中常用的数据集，如表5所示。数据集可分为两类：1）人工合成的点云数据，如：ShapeNet（https://shapenet.org/），ModelNet40（https://modelnet.cs.princeton.edu/），SHREC15（https://www.icst.pku.edu.cn/zlian/representa/3d15/index.htm），PCN（https://wentaoyuan.github.io/pcn/），Completion3D（https://opendatalab.com/Completion3D）等；2）真实扫描获取的点云数据，如：KITTI（https://www.cvlibs.net/datasets/kitti/），CARLA（http://carla.org/），nuScenes（https://nuscenes.org/）等。前者常由室内场景或单个物体的三维模型转换而成（如ShapeNet、ModelNet40等均提供网格—点云的转换工具），后者则常由LiDA-R、RGB-D相机等三维传感器采集得到。

表5 常用数据集总结

5.2 评价指标

本小节介绍了几种广泛应用于点云质量增强性能评估的评价指标，并对其进行归纳总结。

点云质量增强的性能评价指标主要有倒角距离（chamfer distance，CD）、陆地移动距离（Fan等，2017）（earth mover’s distance，EMD）、豪斯多夫距离（Berger等，2013）（Hausdorff distance，HD）及点到面距离（point to surface distance，P2F）等。各评价指标的侧重点、使用要求以及评估方法如表6所示。

表6 常用的点云质量增强评价指标总结

1）倒角距离CD定义为

图片

式中，S_1 和S_2分别代表重建点云和原始点云，符号右侧第1项代表S_1中任意一点到点集S_2的最小距离之和，第2项代表S_2中任意一点到点集S_1的最小距离之和。

2） 陆地移动距离EMD定义为

式中，\varnothing: S_{1} \rightarrow S_{2}代表从点集S_1到S_2，使得对应点之间平均距离最小的一种映射，可由最优化算法求得。

3） 豪斯多夫距离HD定义为

式中，(S_1,S_2)和h(S_1,S_2) 分别表示点集S_1到点集S_2最近点的最大距离和点集S_2到点集S_1最近点的最大距离，即

4）点到面的距离P2F定义为

式中，S_1表示重建点云，\beta表示原始表面，d(x,\beta)表示点云中任一点与原始表面之间的最小距离。

5.3 点云补全性能评估

本小节对基于深度学习的几种代表性点云补全方法进行了性能对比，并结合网络结构对性能结果进行了分析。

由于对点云补全网络进行训练时，不同的设备与数据集都会影响算法的最终性能，除此之外，部分优化算法需要额外的边信息，如人工标注的物体边界，因此，本小节仅对比了在常用数据集上主流算法的性能，如表7—表9所示。

表7 在PCN数据集上点云补全结果对比

表8 在Completion3D数据集上点云补全结果对比

表9 代表性点云补全模型网络效率对比

各类算法在ShapeNet（Chang等，2015）衍生数据集PCN（Yuan等，2018）上的性能对比结果如表7所示，数据源于MSN（Liu等，2020）、CRN-self（Wang等，2022c）、PoinTr（Yu等，2021）、PMPNet（Wen等，2021b）、SnowflakeNet（Xiang等，2021）、SeedFormer（Zhou等，2022a）和PMP-Net++（Wen等，2023）。可以看到，得益于注意力机制，点云特征的提取效率大大提升，PoinTr（Yu等，2021）、PMP-Net++（Wen等，2023）均在指标均值上取得了较大突破。SFA-Net（Zhang等，2020b）与CRN（Wang等，2020a）带来的性能提升，直观印证了采用“粗糙—细化”多阶段进行补全重建的思路是有效且值得探索的。SnowflakeNet（Xiang等，2021）将点云补全性能提升到新高度，主要依靠不同于传统特征解码模块的雪花点反卷积网络。该网络将点云的生成过程解释为一个显式的局部结构化模式，重建出局部更紧凑且结构更清晰的点云。

表8为各类算法在ShapeNet（Chang等，2015）衍生数据集Completion3D（Tchapmi等，2019）上的性能对比，数据源于PMPNet（Wen等，2021b）、SnowflakeNet（Xiang等，2021）、PMPNet++（Wen等，2023）和CRN-self（Wang等，2022c）。其中，SoftPoolNet（Wang等，2020c）、SA-Net（Wen等，2020）、PMP-Net（Wen等，2021b）等算法在性能上较PCN（Yuan等，2018）有了较大提升，这主要得益于局部和全局特征提取效率的改善。VRC-Net（Pan等，2021）采用双分支体系结构，以残缺点云和完整点云分别作为两分支的输入对模型进行训练，以约束补全形状更接近地面真值，进一步改善了补全效果。CRN（Wang等，2020a）引入了层级化的精细网络，这种由粗到细的策略能够保证补全点云具备良好的细节，相较SoftPoolNet（Wang等，2020c）效果更好。

各模型的运行速度与内存占用情况如表9所示，数据源于RFNet（Huang等，2021）。MSN（Liu等，2020）为了实现更精细的细节重建，设计了残差网络进行结构细化，导致模型整体复杂度高，执行速度极慢。SFA-Net（Zhang等，2020b）通过K-近邻算法实现对粗糙点云的采样细化，带来了较高的时间成本。而RFNet（Huang等，2021）通过递归架构，规避了局部特征的使用，极大地降低了网络的参数和内存成本，但由于其递归深度大，并没有实现运行速度的较大提升。

综上所述，随着点云补全领域的发展，各方法在补全点云结构细节、缺失与遮挡结构重建、网络的参数与内存成本和模型推理速度等方面都实现了显著的提升，但仍然存在一定的局限性，如Wang等人（2022d）实现了均匀且逼真的补全，但其性能需要以超大规模的数据集与训练量为代价。此外，现有的点云补全算法均针对单个物体，如何高效实现大规模多样化场景中残缺物体的补全是亟需解决的问题。

5.4 点云上采样性能评估

本小节对基于深度学习的几种代表性点云上采样方法进行了性能对比，并结合网络结构对性能对比结果进行了分析。

考虑到点云上采样的对象可分为人工合成稠密点云及室外场景稀疏点云两类，且上采样率的需求多样。因此，本节分别整理了在两类数据集上及不同上采样率下代表性上各算法的性能，如表10—表12所示。

表10 在CARLA仿真数据集上点云上采样结果对比（LiDAR点云，上采样率：4×）

表11 在PU-GAN数据集上不同上采样率下点云上采样结果对比（单对象场景/稠密点云）

表12 代表性点云上采样模型网络效率比较

由于KITTI数据集（Geiger等，2013）缺乏点云上采样所需要的地面真值，因此针对LiDAR点云的上采样方法进行定量分析时，Chen等人（2023b）使用了与KITTI传感器相似的CARLA自动驾驶模拟器（Dosovitskiy等，2017）生成的合成数据进行定量实验。表10为主流上采样方法在CARLA模拟器仿真数据上的实验结果，数据源于LiUpNet（Chen等，2023b）。

如表10所示，MPU（Wang等，2019b）和PU-GAN（Li等，2019b）采用密集连接策略集成不同层级特征，提高了对点云局部特征的学习精度，因此性能较PU-Net（Yu等，2018）有了较大提升。PU-GCN（Qian等，2021a）在网络中引入图卷积模块，更好地学习到点云的邻域关系，使性能得到了进一步提高。LiUpNet（Chen等，2023b）作为一项针对于LiDAR点云提出的上采样算法，其性能提升依赖于基于注意力机制的特征提取器和基于流形的上采样器。此外，网络通过特征一致性学习策略解决了生成点云密度不均衡的问题，实现了更优性能。

对于单对象稠密点云，大多数点云上采样方法沿用PU-GAN（Li等，2019b）中所采用的数据集进行实验。表11为不同上采样率下主流上采样方法在PU-GAN数据集上的实验结果，数据源于NeuralPoints（Feng等，2022）。

如表11所示，Dis-PU（Li等，2021）引入了“粗糙—细化”的框架，进一步精细化了点云的结构细节特征，在上采样率为4 ×（上采样任务中最常用的上采样率）时，取得了较优的性能，而利用局部微分几何约束的方法PUGeo-Net（Qian等，2020）和Flexible-PU（Qian等，2021b）突破特征空间的限制，进一步提高了上采样的性能。此外，通过对比表10和表11发现，基于图卷积神经网络且针对任意尺度上采样率设计的Flexible-PU（Qian等，2021b）和NeuralPoints（Feng等，2022）在不同上采样率的性能对比中均提供了最好的性能。

部分代表性点云上采样模型的运行速度与内存占用情况如表12所示，其中，批大小 = 1。数据源于NeuralPoints（Feng等，2022）。可以看出，“粗糙—细化”框架导致Dis-PU（Li等，2021）模型整体复杂度升高，推理速度变慢。而得益于高效的特征编码模块，PU-GCN（Qian等，2021a）在保证上采样质量的前提下，展现了更高的网络效率，但由于没有考虑任意尺度上采样的问题，在上采样率改变时，其效率也受到了一定影响。

综上所述，点云上采样算法在学习点云局部特征，保证结构细节精度及减少模型推理时间方面都在不断进步，但其仍存在提升空间，特别是面向LiDAR点云的上采样算法，如何针对LiDAR点云稀疏、密度不均衡的特点设计出更好的特征学习策略及上采样算法，将是未来值得探索的方向之一。

5.5 点云去噪性能评估

本小节对基于深度学习的几种代表性点云去噪方法进行了性能对比，并结合网络结构对性能对比结果进行了分析。

由于不同的点云去噪算法针对的噪声类型不同，包含的噪声点数目也有差异，因此，本小节仅对比DMR（罗开乾 等，2020）、PointCleanNet（Rakotosaona等，2020）、GPDNet（Pistilli等，2020）、Luo和Hu（2021）以及Chen等人（2023a） 等5个算法在PU-Net（Yu等，2018）数据集上对各向同性高斯噪声的去除效果，并分析了性能改进的原因，详见表13，数据源于Chen等人（2023a）。其中，DMR（罗开乾 等，2020）由于使用下采样—上采样架构重建点云，在下采样阶段丢弃离群点的同时，也损失了部分细节信息，故性能不佳。而Luo和Hu（2021）采用噪声卷积分布样本对噪声点云进行精准建模，取得了性能提升。Chen等人（2023a）在其基础上引入的连续梯度场估计网络和重采样，进一步提升了点云的修复质量，且噪声水平越高增益越明显。

表13 PU-Net数据集上代表性去噪算法性能对比

综上所述，随着近年来的发展，基于深度学习的点云去噪算法在干扰噪声点的去除程度、保证原始点云的几何结构等方面都取得了较大的进步，但仍存在针对不同噪声类型去除效果鲁棒性差、模型普适性较差等问题。此外，针对大规模场景LiDAR点云的去噪算法较少，这也是未来亟需解决的问题。

06 结语

随着三维探测技术的发展，三维点云逐渐成为计算机视觉研究中最重要的数据类型之一。然而，受到传感器硬件、采集环境及遮挡等因素的影响，直接采集的原始点云数据通常是不完整、稀疏且嘈杂的，这为点云的后续处理和分析带来了巨大挑战。因此，对原始点云数据进行质量增强是非常必要的。

本文对现阶段基于深度学习的点云质量增强方法进行了综述：针对点云补全、点云上采样和点云去噪3类点云质量增强方法展开阐述与总结对比，对该领域常用的数据集及性能评估指标进行了介绍，最后列举了3类方法中主流算法在通用测试基准上的性能对比，并对性能结果进行了分析。

值得注意的是，3类点云质量增强方法的质量增强目的和侧重点有所不同。其中，点云补全侧重于残缺点云结构完整化，点云上采样侧重于稀疏点云稠密化，点云去噪则侧重于减少噪声点或离群点。然而，这3类任务之间并没有绝对的区分，且常有交叉结合。例如，部分主流点云补全算法（Sarmad等，2019；Wen等，2020；Huang等，2020）仅支持稀疏点云的补全，即补全后的点云点数不超过2 048。基于此问题，一些补全工作（Yuan等，2018；Liu等，2020；Cheng等，2021）通过向补全网络中加入上采样模块，借助点云稠密化处理带来的结构信息增益，从而实现高分辨率的稠密点云补全。具体地，该类方法通过在解码器中引入二维网格折叠（Yang等，2018）或结合MLP预测偏移量（Huang等，2021）等操作实现上采样，以提升输出点云的分辨率，从而实现稠密点云补全。

尽管目前点云质量增强技术已经得到了一定的发展，但仍存在许多亟待解决的问题：

1）已有的深度学习算法学习到的点云特征偏向全局，如何求得点云局部特征的高效表达一直是具有挑战性的问题，而传统的几何算法能够根据几何信息对数据特征进行有效表征。因此，结合几何算法与深度学习进行点云质量增强是提升质量增强效果的有效方法之一，值得研究与探索。

2）现有的大多数算法仅针对包含单物体的稠密点云，对于包含大规模多样化场景的稀疏LiDAR点云，仍没有较为充分的研究。

3）现有的大多数算法都是针对单帧的点云进行处理，而忽略了点云序列的时域相关性。因此，如何利用多帧点云的时—空域相关性以提高质量增强的性能，是一个值得探索的研究方向。

4）现有方法网络结构往往较为复杂，推理速度慢，无法满足真实应用场景的实时性要求。因此，如何进一步减小模型参数规模以提升推理速度，是值得研究的方向之一。

5）当前的点云质量增强算法大多仅对点云的三维坐标信息进行处理，忽略了点云的属性信息（颜色、法向量等），而颜色和反射强度信息分别对面向人眼视觉和面向机器视觉的实际应用至关重要。因此，研究如何实现几何信息和属性信息的同步质量增强将具有重大意义。