Tensorflow入门教程（四十九）——UXNet

今天将分享Unet的改进模型UXNet，改进模型来自2020年的论文《UXNet: Searching Multi-level Feature Aggregationfor 3D Medical Image Segmentation》，简单明了给大家分析理解该模型思想。

1、UXNet网络优点

受AutoML的启发，有很多通过给定的搜索空间自动搜索神经网络体系结构（NAS）。NAS的目标是发现具有更好的性能，更少的参数甚至更低的计算成本的更好的神经网络体系结构。但是3D医学图像中异常大小，形状，位置的巨大变化通常需要来自多级特征表示的信息才能实现鲁棒且密集的预测。但是目前文献中，许多研究表明，多级特征的聚集可以解决异常巨大变化问题，从而实现更准确的分割。直观地，合并从不同层提取的高级和低级特征有助于丰富语义表示并捕获详细信息。但现有的方法都是基于固定模式在相邻或所有层之间执行特征融合，这可能会丢失有用的信息或涉及无用的信息。

为了解决上述缺点，文章提出以下想法：搜索块运算符和按比例缩放聚合策略对于医学分割任务同样重要，并研究一种新颖的搜索方法UXNet，以实现更通用的聚合搜索空间。主要贡献是三个方面。（1）提出一个新颖的体系结构搜索设置：搜索最佳的多级特征聚合策略，以融合类似UNet的体系结构中的特征图进行3D医学图像分析。（2）提出了一种新颖的UXNet搜索方案，该方案通过在统一框架中利用按块操作搜索以及按比例聚合搜索。（3）广泛的实验表明，在3D医学分割十项全能（MSD）挑战中，在最具挑战性的语义分割基准上，UXNet的性能优于现有的最新技术结果。UXNet的计算复杂性很廉价，因此可以在两个TitanXP GPU上搜索性能最佳网络的时间少于1.5天。

2、UXNet结构

上图是的UNXet的结构。该网络具有与传统UNet相同的编码器和解码器体系结构，以及介于两者之间的可搜索构造块（SBB）和多尺度可搜索聚合（MSSA）架构。前者用于搜索每个层中的最佳操作，而后者则用于确定是否从每个节点中的聚合各个级别特征图。

实际上，在将体数据图像输入到编码器网络中，从而在不同级别上生成卷积特征图（即N0,0; N0,1; N0,2; N0,3; N0,4）。特征图被输入到SBB中，该SBB对各种卷积和池化运算符（例如，图3中的黄色椭圆形）可以进行组合，以进行转换。

MSSA汇总多尺度信息，以帮助分割各种大小的器官区域。MSSA包括几个阶段。在每个阶段，首先将所有级别的特征图都视为候选集合，以生成下一个阶段的特征图（例如，在第0阶段，N0,0; N0,1; N0,2; N0,3; N0,4是与第一个阶段N1,1连接的）。值得注意的是，编码器网络还涉及候选密集连接以进行特征聚合。与调整连接权重的现有方法相比，MSSA进一步根据其对最终识别任务的重要性来启用/禁用连接。它有助于以更直接的方式引导不同阶段的特征图之间的连接搜索。此外，由于SBB保留了有用的信息，MSSA可以通过消除每个阶段不必要的最低分辨率特征图（例如N1,4和N2,3）来简化搜索过程，同时产生更好的分割结果。

3、实验设置与结果

3.1、数据

使用3D医学分割十项全能（MSD）挑战的三个子集（即大脑，心脏和前列腺）上评估UXNet，其中分别包含484、20、32个要训练的案例。采用相同的图像预处理策略。由于测试数据集的注释不公开，因此使用5倍交叉验证结果。皮肤病变分割和分类2018挑战发布的二维病变分割数据集的验证结果，该数据提供了2594个训练图像。

3.2、参数设置

在学习网络权重时，使用Adam优化器，其初始学习率为0.0003，其beta范围为0.9至0.99。alpha和beta的初始值设置为1和0。使用Adam优化器以0.003和权重的学习率对其进行优化。

3.3、结果

如表1所示，通过添加SBB，性能提升至73.43％，这表明SBB使网络的每一层都可以通过最佳操作来产生丰富的呈现效果。请注意，在这种情况下，采用UNet风格的连接来融合编码器和解码器网络中的功能。当启用MSSA时，发现的最佳功能聚合策略可以将分数进一步提高到74.57％。