FASA: Feature Augmentation and Sampling Adaptationfor Long-Tailed Instance Segmentation

最近的长尾实例分割方法在训练数据很少的稀有目标类上仍然很困难。我们提出了一种简单而有效的方法，即特征增强和采样自适应（FASA），该方法通过增强特征空间来解决数据稀缺问题，特别是对于稀有类。特征增强（FA）和特征采样组件都适用于实际训练状态——FA由过去迭代中观察到的真实样本的特征均值和方差决定，我们以自适应损失的方式对生成的虚拟特征进行采样，以避免过度拟合。FASA不需要任何精心设计的损失，并消除了类间迁移学习的需要，因为类间迁移通常涉及大量成本和手动定义的头/尾班组。我们展示了FASA是一种快速、通用的方法，可以很容易地插入到标准或长尾分割框架中，具有一致的性能增益和很少的附加成本。

1、介绍

 在人脸识别、图像分类和实例分割等视觉任务中，人们提出了越来越多的方法来学习长尾数据。我们关注的是长尾实例分割问题，由于类不平衡问题，这一问题特别具有挑战性。最先进的方法往往无法处理这个问题，并且在罕见目标类上会出现性能大幅下降。图1举例说明了竞争性Mask R-CNN基线在高度不平衡LVIS v1.0数据集上的斗争。我们可以看到，尾部中大约有300个稀有类，它们的正目标实例不超过

10^2

个。这种稀缺的训练数据导致大多数尾部类的性能较差，预测它们的类概率接近零。

为了解决数据稀缺问题，一个直观的选择是对包含尾部类对象的图像进行过采样。但缺点是，由于图像内的类共现，过采样图像将同时包括更多的头类对象。因此，对于实例分割任务，在实例级别的重新采样比在图像级别的更可取。另一种选择是对所考虑的对象进行数据增强，无论是在图像空间（例如，随机滤波）还是在特征空间（即，特征增强，对象区域特征）。沿着这条线，许多方法已经通过增加稀有类的图像/特征空间而被证明是有效的。特征增强方法已经显示出对人脸识别、人物识别和分类的好处。然而，这些方法需要手动设计类组，例如，使用类大小等启发式方法。 它们通常涉及特征训练和特征转移两个阶段，这会导致额外的成本。

 对于长尾的实例分割任务，特征增强仍然很少被探索。在本文中，我们提出了一种高效的方法，称为特征增强和采样自适应（FASA）。FASA不需要任何精心设计的迁移学习或损失设计。因此，FASA保持其简单性，具有极低的复杂性，同时在训练过程中保持高度自适应。在所提出的方法中，我们对每个类执行在线特征增强（FA）。FA模块使用分布先验生成类虚拟特征，其统计数据是根据先前观察到的真实样本计算的。这允许FA捕获类分布并适应不断发展的特征空间。

 对于稀有类别，增强功能仍然可能受到限制。这是因为观察到的特征方差通常很小，训练示例很少。为了克服这个问题，我们为每个类调整虚拟特征的采样密度。这样，我们合成的虚拟特征仍然存在于真实特征流形中，只是具有不同的采样概率，以避免拟合不足或拟合过度。我们在这里提出了一种自适应采样方法：当增强特征在验证损失中提高相应的类性能时，特征采样概率会增加，否则会降低。这种损失优化采样方法可以有效地重新平衡模型的预测性能，见图1（b）。

 值得注意的是，我们的完整FASA方法仅处理虚拟特征，因此它可以作为一个即插即用模块，适用于使用任何重新采样方案或损失函数（标准或针对类不平衡量身定制）学习真实数据的现有方法。在LVIS v1.0和COCOLT数据集上进行的实例分割的综合实验表明，FASA是一种通用组件，可以为其他方法提供一致的改进。以LVIS数据集为例。FASA在罕见类和整体类的掩码AP指标中分别将掩码R-CNN提高了9.0%和3.3%，并将当代损失设计提高了10.3%和2.3%。此外，这些收益仅以训练时间增加约3%为代价，见图1（c）。此外，FASA可以超越实例分割任务进行推广，在长尾图像分类方面也达到了最先进的性能。

 总之，这项工作的主要贡献是为长尾实例分割提供了一种快速有效的特征增强和采样方法。所提出的FASA可以以即插即用的方式与现有方法相结合。它实现了一致的收益，并超越了设计更为复杂的最先进的方法。FASA也很好地推广到其他长尾任务。

2、相关工作

长尾分类：对于长尾分类任务，有大量广泛使用的方法，包括数据重新采样和重新加权。最近的工作揭示了在解耦训练阶段使用不同采样方案的有效性。实例平衡采样对第一个特征学习阶段很有用，随后是具有类平衡采样的类优化阶段。

长尾实例分割： 为了处理实例分割任务中的类不平衡，最近的方法仍然严重依赖于数据重新采样、重新加权和解耦训练的思想。对于重新采样，在图像级别执行类平衡采样和重复因子采样（RFS）。然而，由于图像内的实例共现，图像级重新采样有时会加剧实例级的不平衡。数据均衡重放和NMS重采样方法属于实例级重采样的范畴。对于重新加权方案，均衡损失v1和v2是重新加权S形损失的代表性方法。最近的工作试图将不平衡的班级划分为相对平衡的班级组，以进行稳健的学习。然而，类分组过程依赖于静态启发式，如类大小或语义，这不是最优的。 唐等人研究了长尾设置中的样本共存效应，并提出了去混杂训练。Seesaw损失动态地重新平衡正样本和负样本的梯度，尤其是对于罕见类别。令人惊讶的是，数据扩充作为一种简单的技术，很少被研究用于长尾实例分割。在本文中，我们证明了在特征空间中通过智能数据增强和重新采样可以获得有竞争力的结果，同时直观简单，计算高效。此外，我们的方法与先前的工作正交，可以很容易地与它们结合，以实现一致的改进。

数据增强： 为了避免过度拟合和提高泛化能力，在网络训练过程中经常使用数据扩充。在长尾识别的背景下，数据扩充也可以用于补充表示不足的稀有类的有效训练数据，这有助于重新平衡不平衡类之间的性能。

 数据增强方法主要有两类：

图像空间的增强和特征空间的增强（即特征增强）。常用的图像级增强方法包括随机图像偏移、缩放、旋转和裁剪。还提出了许多先进的方法，如Mixup和Cutmix。对于我们考虑的实例分割任务，InstaBoost和Ghiasi等人的复制粘贴技术被证明是有效的。最近的工作试图使用GAN或半监督学习方法来合成新颖的图像。与深度学习中成熟的图像级数据增强技术相比，特征增强技术尚未得到足够的重视。另一方面，特征增强（FA）直接操纵特征空间，因此它可以重塑稀有类的决策边界。经典FA建立在SMOTE类型的方法上，这些方法对相邻的特征点进行插值。最近，研究人员提出了歧管混合或MoEx以获得更好的性能。ISDA[40]通过沿着语义上有意义的方向翻译CNN特征来增强数据样本。这种方法往往不能直接应用于不平衡的阶级歧视，并且具有很高的复杂性。

 最近的一些工作表明，特征增强有利于长尾任务，如人脸识别、人脸识别或长尾分类。然而，我们观察到，当将这些方法应用于长尾实例分割数据集（如LVIS）时，它们有局限性。由于实例分割任务的计算成本很高，一些方法依赖于两阶段过程或历史特征的大内存，导致时间和内存成本高，因此效率较低。实例分割任务存在特殊的背景类（没有类锚），这使得依赖于基于边际的分类损失的方法效果较差。此外，实例分割框架的小批量限制了依赖于挖掘混淆类别的方法的性能。 我们的方法是专门为长尾实例分割设计的，省去了复杂的两阶段训练和相关成本。我们在实验中与它们进行了比较，见第4.1节。

3、方法

 在本节中，我们介绍了所提出的特征增强和采样自适应（FASA）方法，该方法由两个部分组成：1）自适应特征增强（FA），生成虚拟特征以增强所有类别（尤其是稀有类别）的特征空间；2）自适应特征采样（FS），动态调整每个类别的虚拟特征的采样概率。

 为了更好地说明FASA如何用于长尾实例分割，我们以Mask R-CNN框架为基线，并展示了将FASA与分割基线相结合的示例。整个流程如图2所示。注意FASA是一个用于功能增强的独立模块，保持基线模块不变。因此，FASA是一个即插即用模块，它可以与Mask R-CNN之外的更强的基线相结合并促进其发展。我们将在实验中展示这种灵活性。

 在Mask R-CNN框架下，定义了每个感兴趣区域（RoI）的标准多任务损失：

 为了简单起见，我们仅将FASA应用于分类分支，如图1（b）所示，分类分支是长尾数据中最脆弱的分支。补充材料中提供了更多的讨论。也可以使用FASA来扩充其他分支。我们把这一点留给未来的工作，并期待进一步的改进。

3.1、适应性特征增强

 Mask R-CNN最初是在区域建议网络（RPN）生成的积极区域建议的“真实”特征嵌入上进行训练的。对于每个类，我们的目标是增强其可能稀缺的真实特征（例如，对于稀有类）。理想的FA组件应具有以下特性：1）生成多样化的虚拟特征，以丰富相应类的特征空间；2）生成的虚拟特征准确地捕捉类内变化，不会与阻碍学习的真实流形有太大偏差；3）适应训练过程中不断演变的实际特征分布；4）高效。

为此，我们根据先前观察到的真实特征保持在线高斯先验，这满足了上述要求。我们通过生成最新和多样化的特征，即使实际特征不是高斯特征，也发现了FA目的的这些先验条件。具体来说，对于当前批次中的每个前景类

c

，我们可以计算相应的特征均值

和标准差

，它们共同定义了高斯特征分布。鉴于

和

的噪声性质，我们使用它们来通过动量机制不断更新更稳健的估计

和

：

 其中在所有实验中

m

被设置为0.1。然后，根据具有最新

\mu_c

和

\sigma_c

的高斯先验，在特征独立性假设下，我们通过随机扰动生成类虚拟特征

：

 特征独立性假设允许有效的FA，其中增强特征被视为IID随机变量。我们认为高斯的协方差矩阵是对角的，从而在很大程度上将复杂度从

d^2

降低到

d

。这样生成的虚拟特征

将需要重新采样（稍后详细介绍）。最后，重新采样的

和真实特征

在任何基线方法中具有自己的采样策略）都被发送来计算方程中的

。

3.2、适应性特征采样

 为了明智地使用每个类别生成的虚拟特征，我们提出了一种自适应特征采样（FS）方案，以有效避免FA的欠拟合或过拟合。采样过程以相对的方式运行：如果虚拟特征提高了相应的类别性能，其采样概率就会增加，否则就会降低。虚拟特征采样概率的这种相对调整迎合了FA在训练期间不断变化的需求。我们可以想象，在某些训练阶段，FA可能对罕见的类别有用，但其他训练阶段可能需要减少FA的数量，以避免过度适应。相比之下，静态预定义的采样分布将独立于训练动态，因此是次优的。

 参数采样方程：

 请注意，我们仍然需要一个初始特征采样分布，以便稍后对其进行调整。显然，我们可以从良好的初始化中受益，避免初始有偏的FA和昂贵的调整。我们选择简单地基于类频率的倒数来初始化采样分布。它有利于具有更高采样概率

p_c

的稀有类，并且在我们关于数据分布的最小假设的类不平衡设置中是有用的。现在，我们在一开始就有一个预先定义的偏斜采样分布。然后，我们按如下方式动态缩放每类采样概率

p_c

：

适应性采样方法：

 回想一下调整采样概率

p_c

背后的见解是：如果FA确实提高了类

c

的性能，那么我们应该生成更多的虚拟特征并增加

p_c

；如果我们观察到FA的性能更差，那么

p_c

可能足够大，我们应该减少它，以避免与增强功能过度匹配。在实践中，我们使用乘法调整来更新每个epoch的

p_c

。具体而言，我们将

p_c

增加到最小值

，将

p_c

减少到最大值

。

 可以采用不同的性能指标来指导

p_c

的调整。现有的自适应学习系统要么基于替代损失，要么基于更理想的实际评估指标。然而，对于大规模的实例分割任务，在大型数据集上频繁评估mAP等度量是非常昂贵的。因此，我们使用验证集上的分类损失

来调整我们的大规模分割任务的

p_c

。对于验证集，我们应用重复因子采样（RFS）方法来平衡类别分布，并提供更有意义的损失。上述设置在我们的实验中效果相当好。

逐组的适配：

 为了使我们的方法对不同的场景更加稳健，我们需要解决长尾实例分割任务中的两个常见挑战。首先，在有限的评估数据上，例如对于稀有类，每类损失可能是极其嘈杂的。在这种情况下，损失和度量都不能作为可靠的性能指标。第二，评估数据可能根本不适用于所有类别。例如，LVIS数据集的验证集在来自训练集的1203个类中只有871个类。这使得无法评估验证集中其他332个类的损失。

  为了解决上述问题，我们建议将所有训练类别分组为超级小组。然后，我们计算组内类的平均验证损失，并一起调整它们的特征采样概率。换句话说，我们根据分组损失的平均值，通过单个比例因子（

\alpha

或

\beta

）调整采样概率。通过这样做，在计算损失平均值时，可以安全地忽略那些缺少评估数据的类，但它们的采样概率仍然可以与同一组中的其他类一起更新。此外，分组更新的噪声较小，因为它是基于（来自多个类别的）较大数据上计算的损失平均值。

  对于聚类，我们使用在线类特征均值

\mu_c

和标准差

\sigma_c

，而不是像[23，41]中那样使用预先定义的启发式方法，如类大小或语义。我们采用基于密度的[10]聚类算法，使用以下基于Fisher比率的距离：

由此产生的超组比预先定义的超组（例如，稀有、常见和频繁的类组）更具适应性和意义，并有助于更好地进行分组特征重新采样。关于语义相似类的一些超组的可视化，请参阅补充材料。           

 4、实验

数据集

 我们的实验在两个数据集上进行：LVIS v1.0，1203个类别和COCO-LT，80个类别。它们都是为具有高度类不平衡分布的长期实例分割而设计的。我们选择LVIS v1.0数据集而不是LVIS v0.5数据集，因为前者有更多的标记数据用于有意义的评估和比较。LVIS v1.0数据集根据至少包含一个相应类别实例的图像数量，定义了三个类别组：罕见[1，10）、常见[10，100）和频繁[100，-）。

 类似地，COCOLT数据集定义了四个类别组[1，20），[20400），[4008000），[8000，-）。我们使用标准平均精度（mAP）作为评估指标。在不同类别组上使用该指标可以很好地表征长尾类的性能。在[13]之后，我们将罕见、常见和频繁类别组的相应性能指标表示为APr，APc和APf。最近，Dave等人[8]提出mAP度量对跨类别排名的变化很敏感，并引入了两个互补的度量APFixed和APPool。我们还在补充材料中报告了FASA在APFixed和APPool指标下的性能。

 实现细节

 我们的实现基于MMDetection[5]工具箱。为了进行公平的比较，我们采用了与中相同的实验设置。其他细节请参考补充材料。

 4.1、LVIS上的消融实验

我们首先对大规模LVIS数据集进行消融研究。我们报告了消融FASA方法的核心模块的验证性能。 FA和FS的有效性。表1验证了我们的自适应模块在特征增强（FA）和特征采样（FS）方面的关键作用。基线（顶行）仅对真实特征执行重复因子采样[13]，而不使用任何FASA组件。我们的FA模块（第二排）显著提高了整体类和稀有类的性能。我们的自适应FS进一步提高了性能，尤其是在罕见的类别组中（APmr 12.7%→ 17.8%），其他组具有竞争力。结果表明，FA和FS两个组成部分在提高训练成绩方面都是有效的。

 和其他数据增强方法的比较：

 为了进一步展示我们方法的简单性和有效性，我们将其与经典的SMOTE方法、MoEx、InstaBoost以及专门为长尾设置设计的最先进方法进行了比较。由于[26，6，44]只报告了人脸识别和人员ReID的结果，而没有可用的公共代码，我们重新实现了它们，并优化了它们的参数和性能，用于LVIS（具体实现细节见补充材料）。

 表2显示了与其他人相比，我们的FASA的良好结果。我们的收益在APr和APc方面尤其明显。由于SMOTE[3]、MoEx[21]和InstaBoost[11]不是直接为长尾设置设计的，我们验证了我们的FASA获得了优于它们的良好性能。对于更多相关的特征增强方法，我们在将它们转移到实例分割任务中时观察到了一些限制。刘等人[26]基于基于边缘的人脸识别损失，如ArcFace[9]，其约束每个实例与其类锚之间的边缘。不幸的是，由于实例分割任务必须处理没有明显锚点的特殊背景类，因此基于边际的损失在LVIS上表现不佳。 相反，我们的方法不受损失函数形式的限制。至于Chu等人[6]，性能受到实例分割任务的小批量大小的限制，这不能保证选择最令人困惑的样本。[6]和[44]都应用从头类到尾类的特征转移。他们使用两阶段的训练管道，需要预先训练的模型来提取特征。相反，我们提出的FA方法可以端到端地训练，比[6，44]快得多，并且只会产生一小部分恒定的额外内存。

 适应性FS的分析：

 回想在等式（4）中，我们的类特征采样概率以自适应的方式通过比例因子

s_c

自适应地调整。表3验证了我们的设计，表明静态采样策略的采样效果较差。具体而言，我们观察到

s_c

=5对

AP_r

最有效，但对需要

s_c

=1的

AP_f

来说不是最优的。另一方面，我们的自适应FS在线调整

s_c

，以有效地重新平衡跨类别的性能。

图3（a）描述了在训练过程中类抽样概率如何变化。总体而言，与常见类和频繁类相比，稀有类表现出较高的采样概率。稀有类采样概率通常会增加，以便在一开始使用更多的虚拟特征。然后逐渐减少以避免过度适应。在收敛时，当学习率降低时，罕见类别的采样概率会出现波动，以帮助进行相应的分类“微调”。相比之下，常见类和频繁类的采样概率的变化较小。图3（b）进一步显示了每个类别组内采样概率的动态变化。

 4.2、在LVIS上和最先进的方法比较

 在本节中，我们将在LVIS v1.0数据集上对照最先进的方法来评估完整的FASA方法。我们考虑以下具有代表性的方法：1）重复因子采样（RFS）是一种图像级数据重新采样技术。我们使用了与原始论文中提出的相同的重复因子1e−3。2） 均衡损失（EQL）是一种损失重新加权方法，旨在忽略稀有类别中的有害梯度。3） 分类器再训练（cRT）首先使用随机抽样进行特征表示学习，然后使用重复因子抽样对分类器进行再训练。4） 平衡组Softmax（BAGS）首先执行类分组，然后使这些类组的分类损失相对平衡。分组仅仅依赖于独立于训练动态和次优的类别规模。5） Seesaw损失平衡了不同类别的正样本和负样本的累积梯度比率。

 使用Mask R-CNN基线的比较：

 当与Mask R-CNN基线相结合时，上述方法显示出了坚实的改进。在这里，我们将在不同的训练计划下，与这些方法的更强版本进行更全面的比较。具体而言，我们试验了默认的12和24个时期时间表[5]，以及解耦的两阶段训练时间表。在第一阶段，我们使用标准随机数据采样和交叉熵损失为12个时期训练模型。然后在第二阶段，我们使用这些先进的重新采样或重新加权方法，如RFS和BAGS，对12个时期进行了调整。我们将此时间表称为“12+12”。我们通过插入FASA模块并比较性能差异，与所有这些方法进行了比较。

  表4总结了比较结果。具体来说，我们用不同的随机种子将每个实验重复三次，并报告结果的平均值。当我们将FASA与香草面膜R-CNN相结合时，我们观察到整体指标AP大幅上涨3.3%。我们的优势在罕见类性能APr中尤为明显，增益为9.0%。这验证了FASA处理长尾任务的卓越能力。我们还验证了FASA的好处在多次运行中保持一致。当与更强的方法（RFS/EQL/cRT/BAGS/Seesaw）或训练计划相结合时，FASA仍然可以在整体AP中获得一致的改进，其中APr中罕见的类改进占主导地位。这样的收益不会影响常见和频繁类指标APc和APf，FASA在这两个指标上表现更好或保持一致。

4.3、在COCOC-LT上的评估

 我们在COCO-LT数据集上评估了FASA，以检验我们方法的可推广性。为了进行公平的比较，我们采用了与SimCal[38]相同的实验设置。与我们在LVIS数据集中描述的实现细节相比，有两个主要区别：（1）使用单尺度训练。我们将输入图像的短边设置为800像素，并且不使用多尺度抖动。（2） 边界框头和遮罩头是类不可知的。

 表6总结了结果。最上面一行显示了具有ResNet50主干和FPN颈部的Mask R-CNN的结果。第二行显示了通过先前最先进的方法SimCal获得的结果，该方法包括分类校准训练，然后是双头推理。第三行显示了用我们的FASA增强的Mask R-CNN基线的结果。请注意FASA如何显著提高Mask R-CNN的性能，尤其是对于那些罕见的类（APm1和APm2）。总的来说，在没有任何形式的解耦训练的情况下，FASA比SimCal[38]表现得更好。 

4.4、在CIFAR-LT-100上的评估

 为了证明FASA在其他领域的可推广性，我们将FASA进一步应用于长尾图像分类任务。我们根据[2]在具有ρ=100（最频繁和最不频繁类别的样本量之间的比率，ρ=maxi{Ni}/mini{Ni}）的显著不平衡比的长尾CIFAR-100数据集上进行实验。我们训练了200个epoch，并使用前1名的准确性作为评估指标。我们将FASA与两种最先进的特征级增强方法M2M和Chu等人[6]进行了比较。当与M2M[20]进行比较时，我们使用LDAM[2]损失作为公平比较的基线。我们使用[20，6]中相同的主干在相同的设置下进行实验。

 从表7中，我们观察到，我们的FASA比LDAM基线的准确率提高了1.7%，与M2M相当。当应用于更强的基线去混杂TDE[35]时，FASA的益处仍然存在。FASA也比Chu等人表现得更好。[6]在交叉熵损失方面。除此之外，我们的FASA比M2M[20]和Chu等人[6]更具时效性，因为他们需要额外的时间进行课堂前训练，而FASA可以在线应用。

5、结论

 我们提出了一种简单而有效的方法，即特征增强和采样自适应（FASA），来解决长尾实例分割任务中的类不平衡问题。FASA在流上生成虚拟特征，为罕见类别提供更多正样本，并利用损失导向自适应采样方案来避免过度拟合。FASA在不同的主干、学习计划、数据采样器和损失函数下，在Mask R-CNN基线上实现了一致的增益，对训练效率的影响最小。它在不影响常见类和频繁类性能的情况下，为稀有类显示了巨大的收益。值得注意的是，作为正交分量，它改进了其他最近的方法，如RFS、EQL、cRT、BAGS和Seesaw。在两个具有挑战性的实例分割数据集LVIS v1.0和COCO-LT以及不平衡图像分类基准CIFAR-LT-100上显示了令人信服的结果。