ReliableStudent | 减轻噪声伪标签的半监督3D目标检测方法，超越 KITTI 3D目标检测在点云水平！

AIGC 先锋科技

发布于 2024-07-08 13:17:09

800

发布于 2024-07-08 13:17:09

文章被收录于专栏：AIGC 先锋科技

半监督3D目标检测在标签数据有限的情况下可以从富有前景的伪标签技术中受益。然而，尽管近期方法通过基于置信度的过滤来提高伪标签质量，但它们忽略了训练过程中噪声伪标签的影响。在本文中，作者研究了噪声伪标签对基于IoU的目标分配的影响，并提出了ReliableStudent框架，该框架结合了两种互补的方法来减轻错误。首先，它包括一种类感知的目标分配策略，减少了困难类别中的假阴性分配。其次，它还包括一种可靠性加权策略，该策略在抑制假阳性分配错误的同时，也解决了第一步中剩余的假阴性问题。可靠性权重是通过向教师网络 Query 学生对生成的 Proposal 的置信度得分来确定的。作者的工作在半监督设置下超越了KITTI 3D目标检测在点云上的先前最佳水平。在1%的标签数据上，作者的方法在行人类别上实现了6.2%的AP提升，尽管只有37个标签样本可用。在2%的设置下，改进变得显著，行人和自行车类别分别实现了6.0%和5.7%的AP提升。作者的代码将在https://github.com/fnozarian/ReliableStudent发布。

1 Introduction

在深度学习近期发展的推动下，图像分类和目标检测领域已取得显著进展。大量数据集的可用性有助于加速这些进步。然而，为大规模数据集标注仍然是瓶颈，特别是对于2D和3D目标检测。半监督方法（SSA）已提出以解决此问题。与监督方法不同，这些方法仅需要有限数量的标注数据进行训练，其余数据未标注。

图1：说明了需要类别感知的前景阈值来进行前景/背景目标分配。x轴上的

\mathrm{IoU_{FG}}

显示了 Proposal 相对于与 GT 值相关的伪标签的前景的IoU。（a）PV-RCNN Baseline 中的默认类别无关阈值。（b）作者的类别感知阈值。降低阈值并包含更多前景 Proposal 可以有利于具有挑战性和不常见的类别。它还显著减少了与零接近的IoU的假阴性。（彩色观看效果最佳）由于在标注数据上的预训练有限，教师模型无法有效泛化，导致伪标签噪声较大，阻碍了学生模型的学习。现有方法通过基于置信度的阈值过滤掉低质量的伪标签，作为一种全局基于质量的过滤机制来克服这个问题。然而，即使经过严格过滤，伪标签仍然存在噪声，如图1（a）所示。它们与相对于 GT 值的前景 Proposal 具有错误的交并比（IoU）。这对于依赖于这些噪声IoU的区域 Proposal 网络（RPN）和基于区域的卷积神经网络（RCNN）模块等下游任务构成了重大问题。

已有几种半监督技术被提出用于目标检测，包括[5, 9, 12, 21, 28, 22]。使用伪标签的自我训练是最常用的方法，在目标检测[9, 12, 19, 21]和分类[18, 29]中均显示出有效性。其核心是使用一个师生框架，以相互有益的方式在未标注数据上逐步训练教师和学生模型。教师模型最初在有限的标记数据上以监督方式训练，生成伪标签（PL）以在未标注数据上训练学生模型。基于Mean-teacher的技术[21, 22]使用学生模型权重的指数移动平均（EMA）来更新教师模型的权重，从而在未标注数据上产生更稳定的预测。标准的目标分配不可避免地将IoU接近零的 Proposal 误分类为背景，即图1（a）中接近y轴的条形，导致性能下降。

图1还显示了由于数据集中不同难度 Level 和类别不平衡分布导致的IoU的不同类别特定分布。忽略分布之间的差异对于如PV-RCNN这样的检测器中的类不可知目标分配方法构成了挑战。一个高值的类不可知阈值将加剧对于分布模式较低的困难类（如行人和骑车人）的假阴性（FN）错误，而降低阈值将导致易于学习的汽车类别出现许多假阳性（FP）。

作者从两个角度解决这些挑战：1) 使用一种新的简单的类感知目标分配方法来减少假阴性和假阳性错误，2) 在训练过程中增加鲁棒性，以对抗作者初始分配可能失败的情况，通过加权分类损失来抑制误分类的 Proposal 。这两个步骤是互补的，第一步通过考虑不同类别分布模式之间的差异来最小化分配错误，而第二步减轻第一步的残余错误。

为此，作者首先在两个关键区域修改了目标分配过程，这两个区域使用IoU分数。作者将标准的前景/背景随机子采样替换为基于top-k IoU的子采样器，以促进从不确定或困难背景 Proposal 的学习。作者还提出了局部类感知前景阈值用于目标分配。如图1（b）所示，新阈值包括更多困难类别的前景 Proposal （导致更高的召回率），同时保留对于主导汽车类别的高值，以确保从高精度 Proposal 中学习。前景和背景阈值将 Proposal 分为三类：前景（FG），背景（BG）和不确定（UC）。作者对FG和BG Proposal 分配硬标签，并使用软标签考虑UC类别中的不确定性。

其次，为了解决错误的目标分配（假阴性/假阳性）问题，作者 Proposal 让教师模型为学员生成的 Proposal 提供可靠性评分。为此，教师的RCNN Head 细化了学员的 Proposal 并为它们分配置信度分数，作者使用这些分数通过不同的前景/不确定/背景加权选项来加权未标注数据上的RCNN分类损失。作者的结果显示，对不确定和背景 Proposal 进行加权有效地抑制了假阳性和假阴性，分别优于其他提出的加权方案。

总结来说，作者的主要贡献如下：

作者深入研究了噪声伪标签对基于IoU的目标分配的影响。
作者提出了一种类别感知的目标分配方法，以解决最近伪标签方法中存在的目标误分类问题。
作者提出了不同的可靠性加权选项，利用教师置信度分数来抑制假阴性和假阳性。
作者在半监督环境下对KITTI 3D目标检测基准进行了广泛的实验和消融研究，以评估作者方法的有效性。

2 Related Work

3D Object Detection

从点云中进行的3D目标检测研究主要集中在激光雷达点云的鸟瞰图[3, 7]。然而，VoxelNet[33]采用了不同的方法，通过将点云划分为3D Voxel ，并使用特征编码层对每个 Voxel 进行编码。尽管随后应用了3D卷积层进一步聚合特征，但由于涉及到的3D卷积，这种方法被认为是耗时的。为了解决这个问题，SECOND[27]提出了一种空间稀疏卷积网络，以提高先前方法的处理速度。PointPillars[8]随后建议使用垂直列代替 Voxel ，并使用2D卷积网络进行特征编码。这种方法被发现比以前的方法更快、更稳健。另外，PointNet和PointNet++[15,16]的方法是直接在点上编码，而不是在 Voxel 上，从而产生了更高效和灵活的方法。在本研究中，作者使用了PV-RCNN[17]，这是一个健壮的两阶段检测器，它结合了VoxelNet和PointNet的方法，并实现了高性能。

Semi-Supervised Object Detection

在半监督2D目标检测领域已经有许多研究。PseCo [9] 结合了伪标签和一致性方法。它不仅使用了标签 Level 的一致性，还使用了特征 Level 的一致性，这进一步提高了最终检测器的性能。这种方法还使用了与[12]相似的Focal Loss，以减轻伪标签中的类别不平衡。[10]将定位任务视为分类任务，并提出了一个确定性感知的伪标签方法。通过量化分类和回归的质量得分，他们调整用于生成伪标签的阈值。Instant-Teaching [32] 提出使用小批量中的弱增强为未标注数据生成伪标注，然后使用这些预测标注作为同一图像强增强的 GT 。对于强增强，作者使用了Mixup [30]。

最近的工作也集中在类别不平衡和确认偏差问题上。LabelMatch [2] 利用标记数据的分布进行自适应阈值化，以过滤出无偏见的伪标签，并将高质量的不可靠伪标签重新校准为可靠标签。Unbiased Teacher [12] 尝试通过结合Focal Loss来解决伪标签中的类别不平衡问题，使模型关注代表性不足类别的挑战性样本。Humble Teacher [21] 通过使用教师集成网络的软标签而不是硬标签，提高了伪标签的可靠性，也取得了相当的结果。

Soft Teacher [26] 通过使用教师的置信度分数抑制分类损失来处理前景 Proposal 的误分类。作者的方法遵循这一点，但另外考虑了前景目标的可靠性，使用前景可靠性权重。作者的工作与Soft Teacher的不同之处在于，作者在RCNN中使用了第三类目标，称为不确定(UC)区域，并为它们分配软标签。这些目标可能对应于真实的前景或背景框。因此，为这一区域分配适当的权重以优化精度-召回权衡至关重要。Combating Noise [25] 假设背景 Proposal 是准确的，它抑制了噪声前景 Proposal 的损失。相比之下，作者表明处理被误分类的前景和背景 Proposal 都很重要。

关于半监督基于点的3D目标检测的研究很少，例如SESS [31] 和3DIoUMatch [24]。SESS使用非对称数据增强技术，并通过不同的损失在教师和学生预测之间实施一致性。3DIoUMatch [24] 为室内外3D目标检测提出了一个伪标签方法。受到FixMatch [18] 的启发，他们引入了一种基于联合置信度的伪标签过滤机制，使用预测的目标性和类别概率。此外，他们估计了IoU并将其用作过滤伪标签的定位质量。与3DIoUMatch不同，作者只采用目标性阈值，省去了使用多个阈值的复杂性。此外，与3DIoUMatch不同，作者在未标注数据上采用目标性监督。作者的研究结果表明，这种策略提高了性能。

3 Method

以下是3方法部分的开始。

Overview

图2：作者可靠学生框架的概览。 该框架使用教师-学生网络，其中EMA教师生成高质量伪标签框

b_{i}

。作者计算了伪标签框

b_{i}

和学生后NMS Proposal

r_{i}

之间的IoU

u_{i}

，然后基于

u_{i}

对

r_{i}

进行top-k采样。采样的 Proposal

r_{i}

注入到学生和教师RCNN Head 以预测目标性得分

\tilde{s}_{i}

和

\hat{s}_{i}

。其中

\tilde{s}_{i}

作为RCNN分类损失

\mathcal{L}_{u}^{cls}

的输入，而

\hat{s}_{i}

转换为

\mathcal{L}_{u}^{cls}

的可靠性权重

w_{i}

。类感知目标分配模块使用不同类别在

u_{i}

上的阈值来分配

\mathcal{L}_{u}^{cls}

的目标性目标

t_{i}

。

作者的方法概述如图2所示。作者的方法基于均值-教师框架，其中教师为未标注输入创建伪标签以作为学生的监督信号。学生接收到未标注输入的强增强版本以及标记输入，并通过反向传播更新其参数。另一方面，教师的参数通过指数移动平均策略从学生的参数中逐渐更新。为了确保生成的伪标签的质量，作者根据它们的置信度分数进行过滤。作者引入了类感知目标分配模块（第3.2节），在伪标签与 Proposal 的IoU上使用类感知前景阈值以提高召回率，特别是对于具有挑战性的类别。这是基于对以下事实的理解：类别的学习状态取决于它们的难度 Level 以及在数据集中它们的实例的可用性。给定这些前景阈值和默认的后景阈值，作者为前景和后景 Proposal 定义了困难的分类目标，而那些IoU位于前景和后景阈值之间的不确定 Proposal 被指定为软目标。

由于目标分配中使用的IoU信号可能存在噪声，某些 Proposal 可能被错误地分配到错误的目标，导致假阳性和假阴性。为了缓解这个问题，作者引入了基于可靠性的权重分配模块（第3.3节），它根据每个类别中占主导地位的错误类型为每个类别的 Proposal 分配可靠性权重，使训练变得更加健壮。为了获得可靠性权重，作者使用教师模型通过其RCNN模块细化学生的 Proposal ，并使用其置信度分数

\hat{s}_{i}

作为额外的监督来提高学生的性能。给定学生的RCNN细化框和分数

\{\hat{b}_{i},\tilde{s}_{i}\}

及其对应的目标，作者使用教师分数

\hat{s}_{i}

来加权未标注数据上分类的损失。

Class-aware Target Assignment

作者研究了从噪声PLs学习的问题，主要用于监督检测器中的RPN和RCNN模块。作者重点关注RCNN模块及其分类目标分配，其中将 Proposal 框分配为前景/背景标签。

记

\mathcal{P}=\{b_{n},c_{n},s_{n}\}_{n=1}^{N_{pl}}

为经过筛选的PLs集合，包括边界框

b_{n}

、类别标签

c_{n}

和置信度得分

s_{n}

。作者定义

\{r_{i}\}

为学生经过IoU引导的过滤和去重RPN Proposal 后生成的最终 Proposal 或感兴趣区域（RoIs）。现有的伪标签方法使用这些RoIs与PLs之间的IoU为PV-RCNN中RPN和RCNN模块的未标注数据中的 Proposal 分配类别标签和前景/背景目标。在RCNN中，对于给定的 Proposal ，如果其与PLs的最大IoU，即

u_{i}=\max_{p\in\mathcal{P}}\mathrm{IoU}(r_{i},p)

，超过预定义的与类别无关的前景阈值

\tau^{fg}

，它被视为前景 Proposal 。作者将这两个模块中使用的IoU阈值定义为_局部阈值_（

\tau_{c}^{fg}

），与用于过滤低质量PLs的_全局阈值_（

\delta_{c}^{fg}

）相对。

作者从PLs的最优分类目标分配与GTs的最优分配进行了次优分析。在图1中，作者评估了相对于GTs为前景的 Proposal 的平均IoU，即它们与GTs的IoU大于评估模式下按类别的前景阈值

\Delta_{c}^{fg}

。作者发现在使用标准目标分配时存在两个关键问题。

首先，各类呈现出不同的平均交并比（IoU）分布。因此，基于单一的全类无关前景阈值（例如，

\tau^{fg}=\mathit{0.75}

）的标准目标分配策略无法可靠地对 Proposal 进行分类。对于行人和骑车人这类分布模式低于汽车的类别，这种全类无关的阈值会导致许多前景 Proposal 被错误分类，其IoU仅略高于该阈值。为了解决这个问题，作者提出了局部类感知前景阈值

\tau_{c}^{fg}

，代替在

u_{i}

IoUs上的全类无关

\tau^{fg}

，以下是为 Proposal

r_{i}

构建FG/BG目标

t_{i}

的方法：

t_{i}=\begin{cases}1,&u_{i}>\tau_{c}^{fg}\\ \frac{u_{i}-\tau^{bg}}{\tau_{c}^{bg}\to b},&\tau^{bg}\leq u_{i}\leq\tau_{c}^{fg }\\ 0,&u_{i}<\tau^{bg}\end{cases}. \tag{1}

背景 Proposal 的IoU始终较低，使得可以使用单一的全类无关阈值

\tau^{bg}

将其与其他 Proposal 区分开。

其次，用于目标分配的IoU是不可靠的。这对于行人和骑车人类别尤为如此，由于它们的学习难度大，这源于目标大小和数据集类不平衡的分布。考虑到存在噪声IoU，尽管实施了类特定的局部阈值，按照方程（1）进行的分配仍不可避免地会导致假阴性（FN）和假阳性（FP）错误的发生。

为了检查FG、UC 和 BG 类别的 Proposal 如何受到FP和FN错误的影响，作者在图3中展示了密度图，显示了RoI IoU相对于PL和GT的分布。将PL方面为前景但GT方面为背景的 Proposal 称为FP Proposal ，反之则称为FN Proposal 。如图所示，每个局部类感知阈值将图从右到左划分为三列，分别显示FG、UC 和 BG 部分。

理想情况下，作者希望IoU得分能够很好地校准，使得RoIs相对于PLs的IoU尽可能与它们相对于GTs的对应IoU接近。然而，在实际中，存在两个接近坐标轴的子密度导致了误差。更具体地说，在前景区域，作者观察到所有类别在部分（d）中沿x轴附近的FP Proposal 密度。然而，对于行人类别，作者与其他类别相比有显著更高的密度。在背景区域，（a）部分沿y轴附近存在FN Proposal 。FP和FN的定义已经扩展到不确定区域，即部分（b）和（e），在（b）部分有FN Proposal ，而在（e）部分底部靠近x轴的位置有FP Proposal 。

Reliability-based Weight Assignment

为了解决这些误报（FP）和漏报（FN）的错误 Proposal ，作者专注于使训练能够抵抗一组给定的不确定的潜在标签（PLs）。作者提出根据 Proposal 目标分配的可靠性（即RoI与PL之间的IoU）来加权此类 Proposal 的分类损失。作者寻找一个可靠性得分，能够一致地为FN和FP Proposal 分配一个低值。在这项工作中，作者评估了Soft Teacher提出的可靠性得分。然而，任何其他的可靠性得分也可以被集成到作者的框架中。

作者根据学生 Proposal 对应的教师细化后的置信度分数来估计学生 Proposal 的可靠性。作者使用这些分数来抑制由于FP和FN目标造成的损失。为此，作者在将学生 Proposal 发送给教师之前，首先对学生 Proposal 上的增强

进行反转。教师使用其RoI池化模块细化每个学生的 Proposal

r_{i}

，并预测

\hat{y}_{i}=\{\hat{b}_{i},\hat{s}_{i}\}

，其中

\hat{b}_{i}

和

\hat{s}_{i}

分别表示相应的细化边界框及其置信度分数。置信度分数

\hat{s}_{i}

代表了细化边界框 Proposal 的前景概率，它作为

r_{i}

的可靠性得分。作者提出基于教师的置信度分数

\hat{s}_{i}

，对未标注样本的RCNN分类损失的不同可靠性加权方案。

根据作者前一部分的错误分析，作者引入以下基于可靠性的加权选项：

**背景 Proposal **（

\mathrm{BG}

）：通过将教师的背景分数作为权重（

w_{i}=1-\hat{s}_{i}

）合并到图3中子区域（a）和（f）的分类损失中，来抑制子区域（f）中的FN Proposal 。

**不确定的FN Proposal **（

\mathrm{UC_{FN}}

）：通过将教师的背景分数作为权重（

w_{i}=1-\hat{s}_{i}

）合并到图3中子区域（b）和（e）的分类损失中，来抑制子区域（b）中的FN Proposal 。

**不确定的FP Proposal **（

\mathrm{UC_{FP}}

）：通过将教师的前景分数作为权重（

w_{i}=\hat{s}_{i}

）合并到图3中子区域（b）和（e）的分类损失中，来抑制子区域（e）中的FP Proposal 。

**前景 Proposal **（

\mathrm{FG}

）：通过将教师的前景分数作为权重（

w_{i}=\hat{s}_{i}

）合并到图3中子区域（c）和（d）的分类损失中，来抑制子区域（d）中的FP Proposal 。

在所有的加权选项中，属于剩余类别的 Proposal 被分配可靠性权重

w_{i}=1

。在4.3.1节中，作者评估了单独应用不同的加权选项以及组合应用，并通过抑制来自不确定 Proposal 的FP和来自背景 Proposal 的FN，实现了最佳的

\mathrm{UC_{FP}+BG}

性能。

图3：在x轴和y轴上分别表示与匹配的PL (

\mathrm{u_{i}}

)和GT (

\mathrm{v_{i}}

)的IoU值的密度。较密集的区域用较深的阴影表示。红色和

\mathrm{橙色}

的垂直线分别表示局部前景（

\mathrm{FG}

）(

\tau_{c}^{\mathrm{fg}}

)和背景（

\mathrm{BG}

）(

\tau^{\mathrm{bg}}

)的阈值，而黑色水平线表示评估模式下的前景阈值（

\Delta_{\mathrm{c}}

），将图分为六个子区域。子区域_(a)和(f)分别表示假负例和真负例 Proposal 。(b)和(e)描述了位于不确定区域的 Proposal ，并分配了软目标，而(c)和(d)_分别描述了真正例和假正例 Proposal 。Proposal 来自最后几轮训练迭代。为了更好的可视化，作者还省略了在GT和PL方面都属于背景的 Proposal 。所有三个图都遵循相同的子区域划分。（彩图查看效果最佳）

作者进一步利用这些基于可靠性的权重，让学生模型更多地学习具有挑战性和不确定性的 Proposal ，而不是容易的背景。在RCNN中学生模型的目标准备涉及到计算后NMS Proposal 和伪标签之间的IoU。先前的工作对这些IoU进行采样，使得最多有50%的前景 Proposal 被随机采样，然后传递进行细化。其余的背景 Proposal 进一步进行随机子采样，确保其中20%的 Proposal 具有低IoU（例如，

<0.1

），这些容易被分类为背景。作者的方法不同之处在于，它避免了在未标注数据上对这种简单背景进行子采样，而是对IoU采用top-k采样策略。这使模型能够更多地学习具有挑战性的背景。设

\{\tilde{b}_{i},\tilde{s}_{i}\}

为学生模型对 Proposal

r_{i}

的细化。未标注数据上的RCNN分类损失总结如下：

\mathcal{L}_{u}^{cls}=\frac{\sum_{i}^{N_{b}}w_{i}l_{cls}(\tilde{s}_{i},t_{i})}{ \sum_{i}w_{i}}, \tag{2}

其中

N_{b}

是单个未标注样本的总 Proposal 数。

给定

N_{l}

个标记样本，作者定义

\mathcal{D}_{l}=\{(x_{i}^{l},y_{i}^{l})\}_{i=1}^{N_{l}}

，其中

y_{i}^{l}

包含类别标签和边界框坐标信息，以及使用

N_{u}

个未标注样本

\mathcal{D}_{u}=\{x_{i}^{u}\}_{i=1}^{N_{u}}

。无监督的RCNN损失

\mathcal{L}_{u}

包括从方程(2)中的分类损失

\mathcal{L}_{u}^{cls}

和边界框回归损失

\mathcal{L}_{u}^{reg}

，定义如下：

\mathcal{L}_{u}^{RCNN}=\frac{1}{N_{u}}\sum_{i=1}^{N_{u}}(\mathcal{L}_{u}^{cls} (\tilde{s}_{i}^{u},t_{i}^{u})+\mathcal{L}_{u}^{reg}(\tilde{b}_{i}^{u},b_{i}^{ u})), \tag{3}

其中

t_{i}^{u}

是来自方程（1）的分类损失的目标，

b_{i}^{u}

是基于

u_{i}

分配的伪框的边界框，作为回归损失的目标。作者遵循 3DIoUMatch 进行 RCNN 边框回归损失

\mathcal{L}_{u}^{reg}

，以及 RPN 分类和回归损失，来制定无监督损失

\mathcal{L}_{u}

。在有标签数据上，使用 GT 值

y_{i}^{l}

类似地计算监督损失

\mathcal{L}_{s}

。学生模型的总损失定义为

\mathcal{L}=\mathcal{L}_{s}+\lambda_{u}\mathcal{L}_{u}, \tag{4}

其中

\lambda_{u}

是平衡无监督损失的系数。教师权重作为学生模型的指数移动平均进行更新。

4 Experiments

Experimental Setup

作者在KITTI [6] 数据集上评估了作者的方法，该数据集包含7,481个训练样本和7,518个测试样本。训练样本被划分为训练集（3,712个样本）用于训练模型和验证集（3,769个样本）用于评估。作者使用了3DIoUMatch [24]提供的1%和2%的标记数据分割，每个分割有三个折叠。对于每个折叠，作者使用不同的随机种子值进行了三次尝试，并报告了所有折叠-尝试组合的平均平均精度（mAP）。mAP是使用旋转的IoU阈值0.7、0.5和0.5分别为汽车、行人和自行车类别计算得出的，在40个召回位置上。实验在所有三个目标难度 Level 上进行 - 简单、中等和困难。

Implementation Details

为了与[24]进行公平的比较，作者使用了PV-RCNN [17]作为目标检测的 Backbone 网络。作者使用了OpenPCDet v0.5框架 [23]来实现作者的方法，并将原始的3DIoUMatch从OpenPCDet v0.3适配到v0.5以便进行公平的比较。在学生模型上的数据增强是基于3DIoUMatch设置。与3DIoUMatch不同，它同时使用RPN分类和RCNN目标性得分来过滤伪标签，作者的方法只使用RCNN目标性阈值，即对于车辆

\tau_{car}^{pl}=0.95

，对于行人和骑车人

\tau_{ped}^{pl}=\tau_{cycl}^{pl}=0.85

。与3DIoUMatch不同，RPN和RCNN模块都通过分类和回归损失对标记和未标注数据进行监督学习，未标注损失权重

\lambda_{u}=1

。在少量数据（1%和2%）上，作者预训练PV-RCNN超过80个周期，每个周期有10次重复遍历，并在训练阶段使用60个周期，每个周期有5次重复遍历，类似于[24]。作者在两个阶段都使用批大小为8，包括8个标记和8个未标注样本。在评估阶段，作者使用学生模型。

Main Results

表1：基于40个召回位置的平均精度(mAP)在KITTI评估集上的结果。PV-RCNN

{}^{\dagger}

是仅监督的 Baseline ，3DIoUMatch

{}^{\dagger}

是原始工作（均基于OpenPCDet v0.3）。3DIoUMatch（ Baseline ）是作者将原始工作适应到OpenPCDet v0.5的版本，而3DIoUMatch + ULB RCNN CLS是作者修改后的 Baseline 版本，其使用了未标注数据中的目标性监督。(

{}^{\dagger}

)表示从[24]借用的结果，(

\backslash

)表示不可用的结果，粗体表示来自OpenPCDet v0.5的最佳结果。

表1展示了作者的方法、被称为3DIoUMatch

{}^{\dagger}

的原始最先进3DIoUMatch方法，以及作者适应性修改的3DIoUMatch版本，即 Baseline 版本。Baseline 版本在除了2%分割中的骑车人类别外，与原始工作表现相似，那里有小于3%的小幅下降。请注意， Baseline 版本没有在未标注数据上使用RCNN分类损失，而作者的方法从中受益。因此，为了更准确的比较，作者还包含了 Baseline 版本在未标注数据上使用RCNN分类损失的结果，这表明它比简单 Baseline 有所改进。作者将作者的方法称为在表2中评估的权重方案中的最佳选择，即

\mathrm{UC}_{\mathrm{FP}}+\mathrm{BG}

。

作者的框架在所有标记数据分割上均表现出优于3DIoUMatch及其改进版本的性能，特别是在行人和骑车人类别上。尽管作者在汽车类别上也取得了改进，但边际提升相对较小，有两个原因。首先，汽车类别受到大量FP错误的影响，在4.3.1节中作者展示了在这种情形下可靠性权重的有效性是有限的。其次，在类别分布上占主导地位的汽车类别在预训练阶段本身就已经学得很好，这为第二阶段留下了很小的改进空间。

Ablation Studies

消融研究的开始部分。

4.3.1 Effects of reliability weights

表2：对中等难度 Level 下1%和2%数据分割的不同基于可靠性的加权选项进行消融研究。为了公平比较，作者在最后一列显示了所有类别的mAP，其中

\mathrm{UC}_{\mathrm{FP}}+\mathrm{BG}

表现最佳。(*)表示作者选择的加权选项，粗体表示最佳结果。

图4：描述了基于 Proposal 与PLs（

\mathrm{u_{i}}

）的IoU和GT（

\mathrm{v_{i}}

）的RCNN分类损失所分配的可靠性权重。红色和橙色垂直线分别表示局部类别感知的前景（FG）(

\tau_{c}^{\mathrm{fg}}

)和背景（BG）(

\tau^{\mathrm{bg}}

)阈值，而黑色水平线表示评估模式下的FG阈值(

\Delta_{c}

)。右侧的色条显示了可靠性权重的强度。为了更好的可视化，这些图基于最后几次训练迭代。

表2比较了不同基于可靠性的加权选项的性能，与 Baseline 相比，mAP提高了2.7%-3.2%。评估

\mathrm{UC}_{\mathrm{FN}}

和

\mathrm{UC}_{\mathrm{FN}}+\mathrm{BG}

是为了抑制FN错误，而其他选项评估了同时抑制FN和FP错误的效果。最后两个选项是为了确定有效加权UC Proposal 以抑制FN或FP错误的方法。尽管在所有这些选项中可靠性权重都起到了帮助作用，但

\mathrm{UC}_{\mathrm{FP}}+\mathrm{BG}

相对于 Baseline 的mAP增益最高，为3.2%。此外，发现教师的前景分数在BG选项中作为权重比在FG选项中更有效。作者认为

\mathrm{FG}+\mathrm{UC}_{\mathrm{FN}}+\mathrm{BG}

性能较低是由于真正不确定的 Proposal 被降权。在图5中，作者展示了所有前景 Proposal 相对于PLs的可靠性权重的平均值，加权选项为

\mathrm{FG}+\mathrm{UC}_{\mathrm{FP}}+\mathrm{BG}

。如图所示，此选项的权重有效地抑制了由于FP和FN Proposal 引起的损失，以抑制一些真正阳性（TP）的损失为代价。此外，FP的权重相对较高（接近1），尤其是对于汽车类别，并且比FN的权重效果差。作者猜想这是由于RCNN模块中FG/BG Proposal 数量不平衡所致。图6通过显示用于训练RCNN分类分支的前景 Proposal 百分比来说明这一点。请注意，汽车类别高度倾斜，几乎95%的 Proposal 为BG。因此，网络偏向于BG类别，教师模型无法为FP Proposal 提供可靠的前景分数。然而，

\mathrm{UC_{FP}+BG}

选项通过避免抑制由于TP Proposal 引起的损失来进行补偿，而主要通过抑制FP和FN，如图4所示。

4.3.2 Effects of class-aware target assignment

表3分析了局部类别感知前景阈值与类别无关阈值的效果及其对不同值的敏感性。作者展示了类别感知阈值不仅比默认阈值表现得更好，而且在不同值上性能表现也更为一致。作者利用作者之前的发现，即行人和骑行者类别需要的阈值低于汽车类别，通过将作者的 Baseline 阈值调整10%来利用这一点。

4.3.3 Effects of top-k based sampler

表4显示，使用平衡随机采样器结合类别感知的目标分配和不稳定性加权方案，相较于 Baseline 方法有所改进。然而，作者的top-k采样器在不同类别上进一步将 Baseline 提高了0.2%-4.4%。

5 Conclusion

作者的研究关于半监督3D目标检测表明，尽管通过基于质量的过滤生成高质量伪标签是有利的，但应考虑此类噪声伪标签对基于IoU的目标分配模块的影响。作者强调不同类别具有不同学习曲线的重要性，以及在使用伪标签技术时特别需要类别特定的目标分配。此外，作者利用教师模型获得可靠性评分，以抑制来自噪声伪标签的不准确目标分配，并保持来自未标注数据的清晰监督。作者的研究提供了一个错误分析框架，可以与其他基于可靠性的指标结合使用，以提升系统的整体可靠性。作者计划将来将其扩展到更多的自动驾驶数据集和目标检测器中。