IEEE 神经网络顶刊论文分享-小目标分割

IEEE 神经网络顶刊论文分享

SOSNet: Real-Time Small Object Segmentation via  Hierarchical Decoding and Example Mining

本公众号上线了TB店铺，店铺里有SCI科技论文写作模板、DeeSeep科研全流程教程【小白也能轻松上手】、审稿人意见回复模板、Cover Letter模板等，有需要的可支持一下！只需一杯奶茶钱就可以解决你科研道路上大多数阻碍！

TB店铺搜索【科研助手小店】，然后点击【店铺】，即可看见

Part.1

摘要

实时语义分割在汽车中起着重要的作用。然而，大多数实时小目标分割方法在汽车、标志符号等小目标上都无法获得令人满意的性能，因为大目标往往对分割结果的贡献更大。为了解决这一问题，本文提出了一种高效的小目标分割网络（SOSNet）架构，以提高小目标的分割性能。SOSNet从两个角度工作：方法学和数据。具体而言，对于前者，本文提出了一种双分支分层解码器（DBHD），该解码器被视为小对象敏感分割头。DBHD由预测像素是否属于小对象类的顶部分割头和估计像素类的底部分割头组成。在这种情况下，可以充分挖掘小对象之间的潜在相关性。对于后者，本文提出了一种小对象样本挖掘（SOEM）算法，用于自动平衡小对象和大对象之间的样本。所提出的SOEM的核心思想是，小对象类上的大多数难样例保留用于训练，而大对象类上的大多数容易样例被禁止。在三个常用的数据集上进行的实验表明，与现有的实时语义分割方法相比，提出的SOSNet架构在保持效率的同时，大大提高了准确率。

图1 本文方法改进概览。

图2 SOSNet框架

Part.2

拟解决的问题

1.小目标分割困难：小目标（如车辆、交通标志等）由于像素数量少、特征不明显，导致分割精度低。

2.类别不平衡问题：小目标在数据集中占比低，而大目标占比较高，导致模型倾向于学习大目标的特征，忽视小目标。

3.实时性与准确性的平衡：在保持实时性（高效率）的同时，提升小目标分割的准确性是一个挑战。

图3 分割头

Part.3

创新之处

1.双分支层次解码器（DBHD）：

提出了一种双分支层次解码器，用于敏感地分割小目标。

通过层次化的标签预测，先判断像素是否属于小目标类别，再进行具体的类别预测，从而充分利用小目标之间的潜在相关性。

2.小目标样本挖掘（SOEM）算法：

提出了一种基于在线难例挖掘（OHEM）策略的小目标样本挖掘算法。

自动平衡小目标和大目标的样本数量，保留小目标的难例，去除大目标的易例，从而提高模型对小目标的关注度。

Part.4

方法流程

1. 定义小目标

在本文中，小目标是按照类别定义的。作者选择了一些通常尺寸较小且分割精度较低的类别作为小目标类别。例如，在 CamVid 数据集中，柱子、行人和交通标志被定义为小目标类别。

2. 整体框架

SOSNet 的整体架构是一个典型的编码器-解码器结构，编码器用于特征提取，解码器用于分割预测。

编码器：使用轻量级的神经网络作为编码器，例如 MobileNetV3-large 或 ResNet-18，以保证效率。

解码器：提出了双分支层次解码器（DBHD）用于小目标敏感的分割预测。

3. 双分支层次解码器（DBHD）

3.1 顶层分割头

目标：顶层分割头的目标是预测每个像素是否属于小目标类别（即“小目标”或“大目标”）。

作用：这一层的预测结果为后续的底层分割头提供指导，帮助模型更好地关注小目标的特征。

3.2 底层分割头

目标：底层分割头的目标是预测每个像素的具体类别（即数据集中定义的所有类别）。

作用：这一层的输出是最终的分割结果。

3.3 层次化约束

目的：为了确保顶层和底层预测的一致性，设计了一个层次化损失函数。

实现方式：

这个损失函数会约束顶层预测为“小目标”的像素，底层预测也必须属于小目标类别；反之亦然。

通过这种方式，模型在训练过程中能够更好地学习小目标的特征，并且避免顶层和底层预测之间的冲突。

4. 小目标样本挖掘（SOEM）算法

4.1 目标

解决小目标和大目标样本数量不平衡的问题。小目标样本数量少，而大目标样本数量多，导致模型倾向于学习大目标的特征。

4.2 核心思想

在训练过程中，分别对小目标和大目标的样本进行筛选。

对于小目标，保留那些难以正确分类的样本（即损失值较高的样本），因为这些样本对模型的训练更有价值。

对于大目标，去除那些容易正确分类的样本（即损失值较低的样本），因为这些样本对模型的训练帮助较小。

4.3 实现方式

在每次迭代中，计算每个像素的损失值。

根据损失值对小目标和大目标的样本分别进行排序。

根据预设的采样比例（例如 10%），从排序后的样本中选择损失值较高的小目标样本和损失值较低的大目标样本。

只有这些被选中的样本会参与反向传播，用于更新模型的参数。

这种方法能够自动平衡小目标和大目标的样本数量，使模型在训练过程中更加关注小目标。

5. 训练与测试

5.1 训练阶段

优化器：使用 AdamW 优化器进行训练，设置学习率衰减策略为多项式衰减。

数据增强：包括随机水平翻转、垂直翻转、随机裁剪和随机缩放。

训练策略：在训练过程中，同时使用 DBHD 和 SOEM 算法，以提升小目标的分割性能。

5.2 测试阶段

在测试阶段，顶层分割头被移除，只保留底层分割头进行预测。

这样不会引入任何额外的推理成本，保证了模型的实时性。

Part.5

实验结果

图4 不同分割算法比较

图5 不同分割算法比较

表1 不同算法定量评估

表2 不同算法定量评估

表3 与先前算法在camvid数据集上的工作进行数值比较