SEMI-SUPERVISED OBJECT DETECTION FRAMEWORK WITH OBJECT FIRST MIXUPFOR REMOTE SENSING IMAGES

摘要

本文提出了一个用于遥感图像的简单半监督目标检测框架，该框架被命名为SSOD-RS。SSOD-RS包含两个部分，即改进的自我训练和基于强数据增强的一致性正则化，以及改进的混合。首先，作为一种增强算法，提出了Object First mixup（OF-mixup）来调整物体和背景的权重，扩大了训练样本的分布，同时减少了遥感复杂背景对物体特征的干扰。其次，在自训练中引入了集合损失和微调的训练策略，使模型在学习了伪标签的特征后，适应真实标签的特征分布。实验结果表明，利用无标签图像的SSOD-RS可以极大地提高模型的准确性。

1、介绍

遥感图像中的物体检测，作为自动提取遥感信息的一个重要部分，旨在定位和识别有趣的物体。近年来，基于深度学习的物体检测模型得到了广泛的发展，大大提高了预测精度和速度。物体检测的核心是特征提取。深度网络可以学习海量标注图像的特征，这比传统模型更有能力。然而，需要太多的样本也成为了深度网络的负担。

有一个事实是，随着越来越多的高分辨率卫星的发射，获得原始遥感图像更加容易。当标注样本的成本很高，而获得未标注图像的成本较低时，从未标注图像中挖掘特征是改进模型的一个好方法。Sohn等人提出了STAC，一个半监督框架，用于视觉物体检测和数据增强，其重点是生成适当的未标记图像的伪标签，用于模型训练。然而，对于不同的数据集和训练样本量，STAC中

的选择，对于平衡真实标签和伪标签的损失极为重要，变化很大，在应用于新项目时，应该需要大量的计算资源进行实验。

 作为另一种增加样本量的间接方法，数据增强被广泛用于物体检测的训练中。数据增强遵循一致性正则化，也就是说，对于输入的数据，即使有轻微的干扰，其标签也应该是一致的。Zhang等人[2]提出了mixup，通过线性混合不同的图像来处理网络的记忆性和敏感性问题。然而，与分类法相比，物体检测主要关注图像的局部特征。遥感图像具有复杂的背景信息。因此，当物体和背景混合时，物体的特征可能会受到严重干扰，这可能会违反一致性正则化。

为了解决这些问题，我们提出了一个半监督的遥感图像物体检测框架（SSOD-RS），其目的是解决缺乏标记样本的问题。 1. 我们提出了SSOD-RS，一个遥感半监督物体检测框架，它通过增强驱动的一致性正则化与OF-混合和自我训练的策略，以集合损失和精细调整的方式进行训练。SSOD-RS是一个即插即用的训练框架，不要求网络改变。 2. 2.提出了OF-mixup，它增加了一个参数α作为物体局部区域和背景的混合比例，以处理来自极其复杂的背景对物体局部特征的干扰。单独使用OF-mixup的模型，可以更容易地进行训练并获得更好的精度。 3. 3.自我训练使未标记的图像通过生成它们的伪标签而参与训练。在没有λu的情况下，SSOD-RS采用了集合损失和微调的训练技术，以确保模型不仅能充分学习伪标签样本的特征，还能适应真实标签样本的特征分布。

2、提出的方法

2.1、Object First mixup

目前神经网络的训练遵循的基本原则是：模型的训练要使其在训练数据集上的平均损失最小化，即所谓的经验风险最小化原则（ERM）。EMR使神经网络记忆而不是从训练数据集中归纳。结果是，网络在训练分布之外的数据上表现不佳。产生与训练数据相似但不同的数据的一种方法被称为数据增强。

 Mixup是作为一种数据增强方法提出的，它通过混合不同的图像来生成新的图像，并从原始标签中添加加权标签。新生成的图像有一些与原始图像相似的特征，但受到干扰：

x_i

和

x_j

是两个原始图像，

x'

是混合图像，

\theta

是混合比例。       

在遥感图像中，背景的特征很丰富，而物体往往比较小。混杂物有很高的概率混合物体和背景。复杂的背景会引入过多的干扰语义信息并覆盖物体的特征。如图2所示，当θ=0.2和θ=0.8时，一些物体基本上被覆盖。当θ=0.5时，城市背景对飞机的干扰很严重。不幸的是，仅通过调整θ来调整干扰是困难的。因此，我们提出了OF-mixup，其重点是增加物体。我们引入了一个新的参数α来调整物体和背景的混合比例。

b是边界框的图像。

代表整个图像中b的补充。α是物体和背景的混合系数。图3显示了当α发生变化时，物体和背景的权重将发生变化。当α=0时，混合图像与图2（d）中的图像相同。随着α的增加，物体的比例会增加。

 2.2、用组装损失和趣味性调整的训练策略进行自训练

自训练通常用于解决半监督的任务。在自训练中，同一个模型需要扮演两个角色。作为教师网络，它应该生成未标记图像的伪标签。作为学生网络，它应该根据真实标签和伪标签的组合损失来优化自己。

该模型分为4个步骤： 1. 用真实标记的样本训练教师网络。 2. 由教师网络生成伪标签。 3. 用真实和假的样本训练学生网络。 4. 用真实标记的样本对学生网络进行微调。首先、 我们用真实标记的样本训练教师网络。 监督的损失写成如下：

其中，i是迷你批中锚的索引，pi是锚i为阳性的预测概率。ti是锚箱的四个参数。p∗i和t∗i是一热分类和边界箱的真实标签。其次，教师网络被用来生成未标记图像的伪标签。生成的可能锚定框通过非最大抑制（NMS）进行筛选，以去除多余的锚定框。选择一个合适的置信度阈值τ来过滤低质量的锚框。第三，计算一个集合损失，包括真实标签损失L1和伪标签损失Lp，以优化学生网络。

与STAC不同，在我们的论文中，没有考虑前一种损失和后一种损失的平衡参数λu。原因是λu与数据集和训练图像的比例有关，很难被确定为一个最佳值。相反，我们对学生网络进行了微调，以消除由伪标签样本引起的网络特征分布的偏差。最后，用伪标签样本训练的学生网络的特征分布不能完全适应真实标签样本的特征分布。为了解决这个问题，真实标签样本被用来对学生网络进行微调。

3、实验

3.1、实验细节

RSOD被用来评估拟议框架的性能。RSOD由4类物体组成，共包含976幅图像和6950个实例。在我们的实验中，RSOD被随机分为6%的部分作为真实标记的数据集，54%的部分作为未标记的数据集，其余40%作为测试数据集。原始图像的输入尺寸被调整为1024×1024。选择以ResNet50为骨干的Faster R-CNN作为网络，由NVIDIA TITAN V 12GB训练。

采用平均精度（mAP）和AP50来评估模型的性能。mAP是对多个交叉联合（IoU）值的平均数。具体来说，我们使用10个IoU阈值：0.50：.05：.95。AP50是在0.50的单一IoU下计算的。在监督学习（10%L）和半监督学习（10%L+90%U）中，通过使用无（无任何增强）、基本增强（BA）、混合和OF-混合（α=0.8）检测RSOD中的对象。检测结果列于表1。这表明，无论在监督学习还是半监督学习中，OF-mixup的表现都比mixup好。与监督训练相比，基于自我训练的半监督框架可以通过使用未标记的图像有效地提高mAP。总的来说，SSOD-RS结合了基本增强、OF-mixup和自训练，在mAP方面比原始模型高5.8%，在

AP_{50}

方面高8.3%。 

3.3、不同数据增强对图像特征的影响

使用的数据增强包括增强中的OF-mixup, CLAHE, HueSaturationValue, RandomBrightnessContrast, RGBShift, ChannelShuffle, ToGray, ShiftScaleRotate, MedianBlur, CutOut。本文将来自扩增的扩增称为基本扩增。如图4所示，与基本增强相比，OF-mixup对图像有更明显的泛化效果。当α增加时，背景对物体局部的干扰 对物体局部区域的干扰将减少，物体的特征将更加突出。物体的特征将更加突出。

3.4、阈值

在框架上的影响

图5显示，当τ为0.2时，mAP实现了最佳效果。当τ过低时，伪标签的准确率很低。当τ过高时，伪标签的召回率很低。τ的选择需要平衡准确性和召回率的影响。如果不考虑低质量的伪标签对模型特征分布的影响，通过使用微调，低τ可以提取更多的特征。

4、结论

本文提出了SSOD-RS作为一个半监督框架，以有效利用遥感数据集中的大量无标签样本。SSOD-RS优化了数据增量和自学策略。OF-mixup保留了mixup对训练数据集分布的泛化优势，调整了物体和背景局部区域的混合比例，使模型更有利于训练。在SSODRS中引入了精细化处理，以消除因低质量的伪标签而导致的模型特征分布的偏差。SSOD-RS具有即插即用的特点，可以应用于任何训练好的物体检测网络（只需将训练好的网络视为教师网络）。实验结果表明，SSOD-RS可以使用未标记的数据来有效提高模型的性能。