双边监督网络在半监督医学图像分割中的应用

小白学视觉

发布于 2024-07-16 14:07:20

910

发布于 2024-07-16 14:07:20

文章被收录于专栏：深度学习和计算机视觉

# 双边监督网络在半监督医学图像分割中的应用

Along He, Tao Li, Juncheng Yan, Kai Wang, Huazhu Fu

代码：https://github.com/NKUhealong/BSNet

摘要

全监督学习需要大量的高质量标注数据，这对于图像分割来说难以获得，因为像素级标注成本高昂，尤其是医学图像分割任务，它们需要领域知识。作为一种替代方案，半监督学习（SSL）可以通过利用丰富的未标注样本有效地减轻对标注样本的依赖。在SSL方法中，均值教师（MT）是最流行的一种。然而，在MT中，教师模型的权重完全由学生模型的权重决定，这将在训练的后期阶段导致训练瓶颈。此外，只对未标注数据应用像素级一致性，忽略了类别信息，容易受到噪声的影响。在本文中，我们提出了一种双边监督网络，采用双边指数移动平均（bilateral-EMA），命名为BSNet，以克服这些问题。一方面，学生和教师模型都在标注数据上进行训练，然后使用双边-EMA更新它们的权重，从而使两个模型能够相互学习。另一方面，使用伪标签对未标注数据执行双边监督。此外，为了增强监督，我们采用对抗学习来强制网络为未标注数据生成更可靠的伪标签。我们对三个数据集进行了广泛的实验来评估提出的BSNet，结果表明BSNet可以大幅提高半监督分割性能，超越其他最先进的SSL方法。

关键词

半监督学习
双边-EMA
双边监督
医学图像分割

I. 引言

医学图像分割对于医学图像分析和临床诊断至关重要。卷积神经网络（CNN）在医学图像分割方面取得了巨大进展。然而，这些全监督方法依赖于大量的标注数据。对于医学图像分割，像素级注释需要领域知识，获取大量标注图像既昂贵又耗时。因此，在数据匮乏的情况下训练深度模型是医学图像分割中一个实际而具有挑战性的任务。

实际上，有大量未标注的数据可以利用。利用这些未标注数据，并在有限的标注数据指导下，已成为有效缓解有限标注数据困境的有希望的方法。为了减轻全监督方法对大规模且标注良好的数据的依赖，最近开发了许多半监督学习方法，因为它们更符合实际需求，即少量标注图像和大量未标注图像。

对于SSL场景，一个简单直观的方法是自训练方案，它首先使用标注数据训练模型，然后从训练模型生成未标注数据的伪标签。最后，模型在标注和伪标注数据上重新训练，以提高模型的泛化能力。然而，这种方法会在伪标签中产生太多噪声，它们在训练期间无法细化，因此会损害性能。因此，提出了更有效的方法。均值教师（MT）是一个代表性框架，许多工作都受到它的启发，它们可以在SSL中取得不错的性能。

尽管上述方法在半监督医学图像分割方面取得了良好的性能，但它们仍然存在以下缺点。首先，它们的权重更新方向是单向的，教师模型的权重是通过指数移动平均（EMA，定义在公式3中）由学生模型合成的。这种单向更新阻碍了教师和学生模型之间的知识共享。其次，教师模型不能在标注数据上进行训练，因此没有机会从教师的角度学习新知识。此外，在训练开始时，学生获得的知识是不准确的，教师模型无法校准不准确的权重，导致误差累积。这使得学生模型在训练后期难以从教师模型中获取有价值的信息，限制了模型的性能。第三，MT只应用像素级一致性约束，忽略了类别信息，容易受到噪声的影响。

为了解决上述问题，我们提出了一种双边监督网络，采用双边-EMA和对抗学习进行半监督医学图像分割，称为BSNet。具体来说，我们采用了两个具有相同结构的分割网络作为我们的基础框架，这两个网络可以在标注数据上进行训练以校准权重偏差。同时，这两个网络也可以相互学习，权重使用双边EMA进行更新。为了明确增强类别信息，为两个模型提供了伪标签以进行相互监督。此外，我们采用对抗学习来获取全局结构信息，并发现未标注数据的可信区域，减少噪声对伪标签的影响，并产生更好的监督。本研究的主要贡献有三个方面：

我们提出了一种带有双边-EMA的监督策略，以减轻MT中的缺陷，并通过增加监督来提高两个网络的学习能力。通过所提出的策略，两个网络可以从各自的角度共享学到的知识，有利于模型性能的提高。
我们提出了一种对抗学习策略，使未标注数据的伪标签更可靠，减少伪标签噪声，并进一步增强双边监督。同时，所提出的方法可以与流行的分割网络聚合，形成一个端到端的SSL框架，显示出良好的泛化能力。
为了验证所提出的BSNet的有效性和通用性，在三个医学图像分割任务上进行了广泛的实验，即眼底图像的视网膜血管分割、皮肤病变分割的皮肤科图像和胃肠道图像的息肉分割。结果表明，BSNet在三个医学图像分割任务中的表现优于最先进的（SOTA）SSL方法。

II. 相关工作

SSL医学图像分割的最新研究主要基于深度学习，大致可以分为四个主流，包括基于一致性正则化的方法、基于不确定性的方法、基于对抗学习的方法和基于对比学习的方法。

A. 基于一致性正则化的方法

在SSL中，一致性正则化发挥着至关重要的作用，它使模型能够容易地使用大量未标注数据进行训练。Li等人提出了一种变换一致性策略，鼓励基于教师-学生模型对同一输入的不同扰动产生一致的输出。Chen等人提出了一种基于两个不同初始化网络的交叉伪监督，鼓励两个网络对同一输入的预测具有高相似性，从而利用未标注数据。与以往的基于一致性的方法不同，Luo等人明确构建了任务级一致性正则化，联合预测分割掩模和水平集表示，然后通过变换层将水平集表示转换为分割图。双重任务一致性正则化可以利用标注和未标注数据。然而，正则化只考虑了像素级一致性，并没有在学习过程中探索结构级信息。

B. 基于不确定性的方法

为了进行准确可靠的训练，Wang等人提出了一种基于教师-学生网络的加权双重不确定性方法用于SSL分割，并为未标注数据学习设计了不确定性一致性损失。Yu等人提出了一种用于3D图像分割的不确定性感知半监督框架，并设计了一种不确定性感知方案来利用不确定性信息，并鼓励同一输入在不同扰动下的一致预测。Sedai等人提出了一种基于教师-学生网络的新型不确定性引导SSL，用于OCT图像中视网膜层的分割，网络用有限的标注样本进行训练，为未标注图像产生软分割标签和不确定性图。

C. 基于对抗学习的方法

对抗学习由于其强大的特征学习能力，已经成功应用于自然图像和医学图像的半监督分割。Li等人提出了一个多任务网络，预测输入的分割图和有符号距离图（SDM），并在标注和未标注数据预测的SDM之间引入对抗损失以执行SSL。Zhang等人提出了一种基于深度生成对抗网络的医学图像分割方法，旨在获得标注和未标注数据一致的分割结果。该方法在利用未标注数据获得更好的分割结果方面是有效的。为了处理病变的位置和形状多样性，Wu等人提出了一种协作和对抗学习方法来加强SSL的表示。

D. 基于对比学习的方法

对比学习在无监督学习中取得了有希望的结果。Pandey等人提出了一种新颖的SSL解决方案，将对比学习应用于具有一致性正则化的图像块，解决了SSL中的确认偏差问题，并鼓励在特征空间中更好的聚类。Xiang等人提出了一种自集成对比学习网络，使用少量标注图像。通过在未标注图像上直接在特征级别学习潜在表示，并使用对比损失，网络可以增强类内紧凑性和类间可分性。

上述方法已经取得了不错的结果。然而，MT及其变体仍然存在第一节中提到的缺陷，学生模型在训练后期无法从教师模型中学习有价值的线索，限制了模型的性能。为了缓解这些问题，我们提出了双边监督与双边-EMA，使两个模型更加互补。通过提供伪标签的监督，可以加强像素级类别信息。此外，对抗学习被用来使伪标签更加可靠，进一步增强相互监督的效果。请注意，我们的方法与DML有根本的不同。对于DML，两个网络在中间层之间没有权重交互，因此学到的知识不能更好地共享，可能会导致模型学习的偏差。它仅依赖于Kullback-Leibler散度进行相互学习，而我们采用均方误差（MSE）和交叉熵从不同方面学习权重。此外，为了提高监督的效果，我们采用了对抗学习来强制网络为未标注数据生成更可靠的伪标签，从而提高性能。

III. 方法

A. 预备知识和概述

我们首先制定了半监督医学图像分割任务的公式。对于SSL分割问题，训练集由M个标注样本和N个未标注样本组成，其中N远大于M。我们将标注数据对表示为和未标注数据表示为，因此整个数据集是，其中和∈是输入图像，∈是真实掩模。这里H和W分别表示图像和真实掩模的高度和宽度。半监督医学图像分割的目的是充分利用未标注数据，并在有限的标注数据指导下，力求接近全监督方法的性能。

然后我们给出了所提出的BSNet的概述。如图2所示，所提出的网络由三个子网络组成，包括分割网络A表示为，分割网络B表示为，以及鉴别器网络。两个分割网络共享相同的结构，如UNet，但它们拥有不同的权重。我们采用ResNet-34作为网络A和网络B的基础，并在ImageNet上预训练了网络A的权重。紧随UNet之后，我们在编码器和解码器之间使用跳跃连接，并提供低级和高级线索，以获得分割任务所需的更详细和上下文信息。鉴别器是一个轻量级网络，用于区分网络A的输出是否与真实分布相似，目的是使伪标签更可靠。整个网络的训练可以分为标注路径和未标注路径。对于标注路径，两个分割网络可以通过标注数据上的交叉熵损失分别进行优化，如图2中蓝色数据流所示。对于未标注路径，两个分割网络可以通过网络A和B之间的双边监督和双边-EMA以及一致性正则化进行优化，如图2中橙色数据流所示。此外，采用对抗学习来强制网络A生成可靠的伪标签，有效提高未标注数据的伪标签质量。在推理时，实验上网络A的分割精度优于网络B，因此我们采用网络A的结果作为最终预测结果。

请注意，我们的方法与深度相互学习有根本的不同。首先，对于相互学习，两个网络在中间特征层之间没有权重交互，因此学到的知识不能更好地共享，可能会导致模型学习的偏差。其次，它仅依赖于Kullback-Leibler散度来执行相互学习，而我们采用MSE和交叉熵从不同方面学习权重。有了这些策略，伪标签中的类别信息可以被利用，以更好地区分前景和背景信息。此外，为了提高双边监督的效果，我们采用对抗学习来强制网络A为未标注数据生成更可靠的伪标签，以提高SSL性能。在我们的方法中，学生和教师模型之间的区别不那么明显，它们以双向方式进行交互。在训练网络A和网络B的背景下，我们的目的是优化使用有限的标注数据，并纠正初始训练阶段可能发生的错误累积。

B. MT性能瓶颈分析

这里我们分析了MT导致性能瓶颈的原因。对于基于MT的框架，它们结合了学生和教师模型，但权重更新是单向的，因此教师和学生模型的学习能力受到严重限制。一方面，对于MT，教师模型的权重只是学生模型的EMA。从教师模型的角度来看，教师模型不能从标注数据中显式学习特征。因此，随着学生模型的收敛，教师模型在训练后期不会产生更有价值信息，导致训练瓶颈。另一方面，由于教师模型的权重不能独立于标注数据进行训练，并且依赖于学生模型的权重，这将导致训练初期学生模型不准确权重的累积。教师模型没有机会校准权重，加剧了误差累积。此外，在训练期间，教师模型只应用了像素级MSE损失进行一致性正则化，忽略了类别信息。对于分割任务，我们的目标是模拟不同类别之间的关系，而不仅仅是像素级一致性。

“教学和学习共同成长”是教育领域的一个流行原则，意味着教学和学习相互促进。同样，在教师-学生网络中，我们应该让两个模型相互学习，而不仅仅是学生模型从教师模型中学习。因此，在所提出的BSNet中，我们引入了双边-EMA和双边监督，使两个分割网络进行相互学习，这模糊了学生和教师模型之间的界限，它们可以相互补充。为了减少网络在双边监督中引入的噪声，我们增加了对抗学习，使网络提供的伪标签更可靠。接下来，我们将详细阐述我们方法的每个组成部分和训练过程。

C. 双边-EMA

受到上述分析的启发，我们提出了双边-EMA策略，以执行参数级交互和共享学到的知识，从而缓解这些问题。首先，对于两个分割网络，我们将它们都设置为可训练模式，权重可以在标注数据上进行校准。除了在原始MT框架中使用的从到的EMA外，我们还应用了从到的EMA，称为双边-EMA，旨在执行知识蒸馏和相互学习。此外，初期的权重误差可以通过在标注数据上的训练进行校正。网络也可以从网络的权重校准中受益，以获得更可靠的伪标签。简而言之，它们都可以在标注数据上进行训练，从而提高学习能力。具体来说，我们首先使用标注数据训练网络，并使用监督损失：

其中是网络的监督损失，是标注数据的数量。是交叉熵损失，定义为：

然后，网络的权重通过网络的EMA进行更新，公式为：

其中是网络在步骤的权重，是在步骤使用EMA更新权重但之前未进行监督训练的的权重，是在步骤使用监督训练但之前未使用EMA更新权重的的权重，是设置为0.99的平滑系数。

接下来，网络的权重在校准标注数据上进行校准：

其中是网络的监督损失。最后，我们也使用从网络的EMA更新网络的权重：

其中是步骤的网络的权重，是步骤的网络的权重。通过使用双边-EMA策略，我们可以打破MT中两个网络权重依赖的僵局，从而提高我们框架的学习能力。

D. 双边监督

在MT框架中，只考虑了MSE损失，其中计算了未标注数据上的像素级相似性，并应用于更新学生模型的权重。MSE损失忽略了类别信息，因为它旨在使学生和教师模型表现相同。为了缓解这个问题，我们提出了BSNet中两个分割网络的双边伪标签监督。请注意，我们明确使用伪标签对类别信息进行建模，以更好地区分前景和背景。相互学习使两个网络的输出概率分布更接近，并且没有类别约束，这忽略了类别信息，不利于分割。

具体来说，对于未标注数据，分割网络将产生两个使用softmax激活的预测：和。我们首先按照MT对两个概率图应用朴素MSE损失：

然后，由网络生成的未标注数据的伪标签应用于网络：

其中是从网络生成的伪标签。请注意，在计算损失时，我们将伪标签转换为one-hot编码。来自网络对网络的监督定义为：

其中是从网络生成的伪标签。通过使用双边监督策略，两个分割网络将相互学习，提高整个框架的学习能力。

E. 对抗学习

由于生成对抗网络（GAN）的强大数据分布拟合能力，它已经广泛应用于人脸合成和医学图像合成中。在这里，我们采用GAN来提升相互监督的性能。我们将分割网络视为生成器来产生分割掩模。同时，我们提出了一个轻量级的鉴别器，类似于VGGNet，用于对抗学习。的作用是提高生成的伪标签的可靠性，并更好地指导分割网络和之间的双边监督。它包含5个卷积层，其中核大小为3×3，通道数为[16, 32, 64, 96, 128]。每个卷积层后面都有一个ReLU激活层和一个2×下采样层。最终输出概率表明输入是来自真实标签还是假标签。标注数据的真实情况直接作为真实标签，而分割网络在未标注数据上生成的掩模被视为假标签。

为了使分割网络生成的分割掩模更可靠并接近真实分布，使用假标签来欺骗鉴别器，并使输出高分。如果得分较差，损失将用于更新分割网络的权重，从而达到生成与真实标签具有相似分布的可靠伪标签的目的。分割网络的对抗损失可以定义为：

对于鉴别器网络，目标是正确区分真实和假标签，训练鉴别器的损失定义如下：

其中是分割网络在未标注数据上的输出概率，是标注数据的真实情况。请注意，一旦训练完成，将被丢弃。因此，在推理过程中，我们不会引入任何额外的计算成本。

F. 最终损失函数

对于分割网络，标注和未标注数据的总体损失为：

其中是一个时间依赖的高斯加热函数，可以定义为。是当前迭代步骤，是最大迭代次数，设置为0.1。

与基于MT的方法有几个不同之处：首先，MT中的权重更新是单向的，导致训练瓶颈，而我们采用双边-EMA来打破僵局，提高训练效率。其次，训练范式不同。在MT中，教师网络通常依赖于学生网络。相反，我们的方法同时训练两个网络进行双边伪标签监督。第三，为了更好地进行双边监督，我们设计了一个轻量级鉴别器进行对抗学习，目的是产生更可靠的伪标签。

IV. 实验

在这一部分中，我们首先介绍基准数据集、实现细节和评估指标。然后，我们提供了在三个医学分割数据集上的定性和定量实验结果。

A. 基准数据集

DRIVE数据集：此数据集包含40张视网膜眼底图像，其中20张用作训练集，其余用作测试集。每张图像的分辨率为565×584像素。对于DRIVE中的每张图像，都提供了手动标注的血管图。
Kvasir-SEG数据集：此数据集包含1000张胃肠道息肉分割图像及其相应的标签。我们随机选择其中80%作为训练集，其余作为测试集。图像和标签被调整为512 × 512大小。
皮肤病变数据集：我们采用了2016年ISIC皮肤镜检查数据集进行皮肤病变分割。它包含900张训练图像和379张测试图像。图像和标签被调整为512 × 512大小。
前列腺分割（PROMISE12）数据集：PROMISE12数据集包含50个前列腺T2加权MRI扫描，分为35、5和10个扫描用于训练、验证和测试集，不同分辨率范围从0.325-0.625到3-3.6毫米。按照之前的作品，此数据集中的扫描以2D切片进行分割，每个切片被调整为256 × 256。
左心房数据集：此数据集包含100个3D钆增强MR图像，分辨率为0.625 × 0.625 × 0.625mm。按照[8]，80个扫描用于训练，20个扫描用于验证，并应用与[8]相同的预处理方法。2D切片被调整为256 × 256。
Synapse数据集：包含30个CT扫描用于多器官分割，分辨率为0.54 × 0.54 × 0.54 mm，包含13个器官。数据集被分为20个训练样本和10个测试样本。2D切片被调整为512 × 512。

B. 实现细节和评估指标

实现细节：我们在实验中应用的数据增强包括水平翻转、垂直翻转和随机缩放。网络使用Adam优化器进行训练，动量为0.9，权重衰减为0.0001。我们将图像和标签调整为512 × 512用于息肉和皮肤病变分割。对于血管分割，我们裁剪了256 × 256的块，并使用滑动窗口进行测试。分割网络、分割网络和鉴别器网络的初始学习率分别为0.0001、0.0001和0.001。我们通过“poly”策略降低学习率，批量大小为16，其中8张图像是标注的，8张图像是未标注的。为了公平比较，所有实验都是在相同的实验设置下进行的。我们的框架是用Pytorch 1.8.1实现的，所有实验都在NVIDIA GTX 1080Ti GPU上进行。代码可在 https://github.com/NKUhealong/BSNet 上获得。

评估指标：我们采用以下指标进行定量评估，包括准确率（Acc）、召回率（Rec）、精确度（Pre）、平均绝对误差（MAE）、Dice和交集-并集（IoU），如[2]中建议。对于3D医学图像，Dice、平均表面距离（ASD）、95% Hausdorff距离（HD95）和平均对称表面距离（ASSD）评估指标用于衡量预测的3D分割的准确性，遵循以前的工作。

C. 与SOTA方法的比较

为了展示我们提出的方法在半监督场景中的有效性，我们将我们的方法与SOTA SSL医学图像分割方法进行了比较，包括Mean Teacher（MT）、DTC、SASSNet、URPC、UAMT、DML、SLCNet、Tri-U-MT和DAN。我们还以全监督方式进行了实验，直观地比较半监督方法的性能。为了公平比较，我们使用基于ResNet-34的UNet作为分割网络，并为这些方法使用相同的数据分割协议。2D可视化结果如图3所示，它展示了所提出的BSNet在三个2D医学图像分割任务中可以获得比其他SOTA方法更可靠的分割结果。对于DRIVE、KvasirSEG、Synapse和皮肤病变数据集，我们使用相同的实验设置从头开始训练SOTA方法。

皮肤病变数据集上的结果

表I展示了不同SOTA半监督分割方法在皮肤病变数据集上的定量结果。对于半监督学习，我们只使用1/9的标注图像，其余为未标注数据（100张标注图像和800张未标注图像）。与仅使用1/9标注图像的UNet相比，所有半监督分割方法都大幅度超越了UNet (1/9)的结果，这表明半监督方法可以有效地利用未标注数据。此外，所提出的BSNet在Dice和IoU分数上大幅度超越了其他SOTA方法，并与全监督UNet取得了竞争性的结果。结果表明BSNet可以有效缓解MT中的问题，提高两个分割网络的学习能力。

Kvasir-SEG数据集上的结果

对于息肉病变分割任务，使用了1/8的标注图像（100张标注图像和700张未标注图像）来训练半监督方法。如表II所示，由于复杂的背景和上下文信息，其他半监督学习算法很难取得令人满意的结果。而我们的BSNet可以通过双边-EMA和对抗学习策略缓解MT中的缺陷，提高网络的学习能力，并超越其他SOTA方法。

DRIVE数据集上的结果

此外，我们在眼底图像中的细小血管分割上进行了实验，并使用了1/4的标注图像（5张标注图像和15张未标注图像）来训练方法，因为训练数据有限。如表III所示，即使在小血管分割任务中只有很少的训练样本，BSNet仍然可以在IoU和Dice分数上取得最佳的分割结果，这表明我们提出的方法可以有效地利用未标注数据。结果表明我们的半监督学习算法不仅适用于大规模病变分割，也适用于细小血管分割。如图3所示，我们的结果更可靠，这验证了我们的模型对未标注数据利用的高效率。

PROMISE12数据集上的结果

为了验证我们方法的有效性，我们将它与几个SOTA方法在3D MRI数据集上进行了比较，用于前列腺分割，结果如表IV所示。对于半监督分割，训练中只使用了7个标注样本，训练集中的其他图像是未标注样本，遵循以前的工作。我们的方法在PROMISE12数据集上的前列腺分割性能优于其他SOTA方法。与SLCNet的最佳结果相比，Dice提高了1.98，ASSD降低了1.24，视觉分割结果如图4所示。

左心房数据集上的结果

我们进一步在左心房MRI数据集上验证了我们方法的有效性，并与几个SOTA方法进行了比较，结果如表V所示。按照DTC，16个案例被标注，64个案例未被标注。可以发现，我们的方法在所有评估指标上都优于其他SOTA方法，Dice超过了DTC (+0.98)，ASD降低了(−0.73)，HD95降低了(−0.90)。视觉结果如图5所示。

多器官分割上的结果

最后，我们在CT数据集上验证了我们方法的有效性，用于多器官分割，并与几个SOTA方法进行了比较，结果如表VI所示。对于半监督分割，5个CT案例被标注，15个CT案例未被标注。结果表明，我们的方法在所有评估指标上都优于其他SOTA方法，视觉结果如图6所示。

在三个2D和三个3D数据集上的综合实验结果表明，所提出的BSNet在不同医学图像模态的半监督医学图像分割方面，无论是定性还是定量结果，都能取得比其他SOTA方法更好的性能。这些结果验证了我们方法的有效性。

D. 消融研究

不同数据分割协议的结果

为了研究BSNet在不同标注-未标注比例下的学习能力，我们报告了在不同标注-未标注比例下训练的BSNet的性能，其中标注图像是从训练数据集中随机选择的。如表VII所示，在不同的标注-未标注比例下，BSNet的分割结果都取得了一致的改进，并且比仅训练在部分标注数据上的监督方法和MT更好。结果表明BSNet可以在不同的数据分割协议下工作良好。对于UNet，我们可以看到当标注数据为100时，其性能较差，因为全监督方式需要更多的训练数据。当使用半监督学习算法时，可以有效地利用未标注数据来提高性能，有效地减少了对标注数据的需求。我们的方法在不同的数据分割协议下可以大幅度超越基线结果。它表明半监督学习可以有效地减少对标注数据的依赖。

每个组件的效果

我们的框架包含三个主要贡献：双边-EMA（记为BE）、双边监督（记为BS）和轻量级鉴别器网络（记为Dis）。为了验证每个贡献的有效性，我们通过逐步向基线添加这些贡献进行了消融研究。实验是在皮肤病变数据集上进行的，使用了100张标注图像和800张未标注图像，基线方法是MT。实验结果报告在表VIII中。可以看出，将双边-EMA集成到基线中可以大幅度提高半监督分割结果，表明双向权重更新可以有效地缓解MT中的问题并促进模型性能。当基线分别集成双边监督和鉴别器时，召回率可以大幅度提高，这表明双边监督确实提供了比原始MSE损失更多的监督信息，鉴别器增强了模型的伪标签的可靠性。在聚合所有三个贡献之后，性能可以进一步提高，这表明我们的方法可以提供足够的监督信号，对抗学习可以强制模型产生更可靠的伪标签用于半监督分割，实现最佳性能。

为了验证所提出方法对损失函数系数的敏感性，我们研究了不同初始化值对半监督分割性能的影响，如表VIII所示。我们采用了和 1.0 作为初始化。从结果中可以看出，我们的方法对初始值是稳健的。当时，我们的方法可以实现最佳结果，验证了我们方法对超参数的稳健性。

如表VIII所示，我们以三种方式实现了权重更新策略，以验证双向更新的有效性。当我们使用任一单向更新策略（b → a 或 a → b）时，分割性能都不如双向更新的结果。此外，网络A和网络B都在标注数据上执行更新，因此它们不会误导彼此，因此我们可以看到双向更新策略取得了最佳结果。

使用未标注图像的能力

为了验证所提出的BSNet利用未标注数据的能力，我们使用了200个来自皮肤病变数据集的标注数据，然后将未标注数据的数量从100增加到600。从表IX中可以看出，随着未标注数据的增加，BSNet在Acc、Dice和IoU中的分割性能得到了改善。结果表明，我们的网络可以有效地利用有限的标注数据中的未标注数据，这对于半监督医学图像分割至关重要，因为未标注数据容易获得，而标注数据通常是有限的。当未标注数据增加到600时，性能接近饱和，可能是由于从未标注数据生成的伪标签过程中的噪声所致。

为了验证这些噪声是否来自伪标签生成过程，我们保持模型结构不变，仅将模型生成的伪标签替换为真实标签。从表IX中可以看到，在使用真实标签后，模型的性能得到了进一步提高。因此，实验证明了不准确的伪标签噪声会导致性能瓶颈。

不同主干网络和分割网络下的泛化能力

为了验证采用不同分割网络时所提出方法的泛化能力，我们在包括UNet++和注意力UNet（Att-UNet）的医学图像分割网络上，以及包括DeepLabv3+、PSPNNet和FCN的自然图像分割网络上进行了全面实验。如表X所示，BSNet的结果可以在采用不同的分割网络时超越基线，表明所提出的BSNet具有良好的泛化能力和有效性。我们还对这些分割网络进行了实验，使用了所有可用的训练样本，并注意到对于PSPNNet和DeepLabv3+，BSNet的结果与全监督方式非常接近，这表明我们的方法在半监督医学图像分割方面具有很大的潜力。

对于主干网络的选择，我们选择了不同变体的ResNet以及基于Transformer的架构，结果如表XI所示。采用ResNet50、ResNet101和基于Transformer的主干后，结果并没有明显提高，但参数和计算成本增加了。背后的原因是因为在半监督学习的设置中，标注数据有限，尽管它们具有强大的编码能力，但很难训练更大的模型。因此，我们选择轻量级的ResNet34作为主干网络，以实现更好的权衡。

失败案例分析

模型的局限性也是一个重要的方面，因此我们展示了一些失败预测如图7所示。这些失败案例可以分为两种情况。第一种是病变区域与周围正常区域高度相似，对比度低，如图7第一行所示。第二种是图像中的病变非常小，如图7第二行所示。对于对比度低的情况，很难区分病变和正常区域，因此很难提取病变区域。对于小病变的情况，经过卷积和池化后，特征响应很难保留，导致小病变的分割性能不满意。

考虑到上述挑战，我们认为有几种可能的解决方案可以缓解这些问题。第一种是设计更有效的半监督学习算法，以更好地利用充足的未标注数据，以应对复杂场景中的病变分割。其次，由于CNN缺乏像素之间的长距离依赖性，可以采用Transformer模型来学习像素之间的长距离关系。因此，CNN和Transformer可以通过结合局部特征和全局特征来更好地互补，以更好地区分病变和正常区域。

V. 结论和未来工作

针对MT中的缺陷，我们提出了一种双边监督与双边-EMA方法，用于半监督医学图像分割，称为BSNet，它借鉴了教育领域中“教学和学习共同成长”的原则，并从两个方面缓解了问题。一方面，两个网络可以通过双边-EMA相互学习。另一方面，使用伪标签实现了两个网络的双边监督。此外，为了提高伪标签的可靠性，从而进一步提高相互监督的效果，我们提出了一种对抗学习策略，使分割掩模更接近真实掩模的分布。在三种2D和三种3D医学图像分割数据集上的实验结果表明，与其它SOTA半监督学习方法相比，所提出的BSNet取得了优越的性能，证明了BSNet的效果。

在以前的全监督学习方法中，设计了多任务网络，通过融合跨任务的标注数据来提高每个任务的性能。对于SSL方法，跨任务的未标注数据也可能有助于提高每个任务的性能。因此，利用跨任务的未标注数据来进一步提高SSL的性能是我们未来的工作之一。