Tensorflow入门教程（四十四）——DRU-NET

今天将分享Unet的改进模型DRU-NET，改进模型来自2020年的论文《AN EFFICIENT DEEP CONVOLUTIONAL NEURAL NETWORK FOR MEDICAL IMAGE SEGMENTATION》，简单明了给大家分析理解该模型思想。

1、DRU-NET网络优点

根据以前的研究，编码器-解码器DCNN架构表现出卓越的性能，由于其可以多尺度捕获特征。多数方法通过集成先进的模块获得更好的性能（例如密集网络，注意力网络，等），但这需要学习更多的参数。但是，更希望减少模型参数数量，并且仍然达到相似或更好的性能。因此，在论文中将比较残差网络（ResNet）和密集网络（DenseNet），并进一步提出一些修改以提高网络效率。残差网络（ResNet）和密连接网络（DenseNet）大大改善了卷积神经网络的训练效率和性能，深度学习网络（DCNN）主要用于对象分类任务。论文中提出了一种高效的网络架构，考虑两个网络的优势。提出的方法集成到编解码器DCNN模型中用于医学图像分割。论文的方法与ResNet相比，额外增加了的跳跃连接但使用模型参数比DenseNet少得多。在公共数据集（ISIC2018挑战赛）皮肤病变分割和局部脑MRI数据集上评估提出的方法。与基于ResNet，基于DenseNet和注意力网络（AttnNet），都具有同一编码器-解码器网络结构中的方法相比，我们的方法实现了更高的分割精度，此外模型参数数量少于DenseNet和AttnNet。源码公开地址：

https://github.com/MinaJf/DRU-net

论文的主要贡献，（1）、提出了一个简单但高效的网络模块，能够获得更好的图像分割效果，相比于比DenseNet，ResNet和基于注意力网的方法，（2）、更重要的是，论文方法比这些方法需要更少的模型参数（ResNet除外）。

2、DRU-NET结构

残差连接是将输入与输出相加，密连接模块是将前面的密连接模块输出和原始输入都拼接到一起。残差网络的缺点是缺乏所有先前卷积输出到连续特征图的密集拼接。虽然密连接网络可以从前面所有卷积结果中提取信息，不仅保证梯度的有效传输而且能够将更丰富的信息进行组合在连续图层中进行特征提取，但是需要额外的特征图降维操作，虽然是以可学习方式来进行有效地特征图合并，但是需要额外的参数和额外的计算。通过考虑两者的优点和缺点，在编码器和解码器中使用两个思想，如下图所示。在编码器中，将第一个卷积和最后一个卷积的结果进行残差连接，然后在与输入进行拼接输出，在解码器中，将第一个卷积和最后一个卷积的结果进行残差连接，然后在于输入经过卷积1x1降维后的结果进行拼接输出，就是密残差模块（DR）。将该模块集成到Unet的编码器和解码器中就是DRUNet网络了。

3、实验设置与结果对比

3.1、ISIC2018挑战赛数据皮肤病变分割，脑部MRI挑战赛数据。

3.2、评价指标：dice系数，jaccard系数，精度和召回率。

3.3、参数设置：交叉熵损失函数，Adam优化器，学习率为0.001，对于ISIC2019数据集，训练批次大小为4，训练次数为50epoch，对于脑部数据，训练批次大小为2，训练次数为200epoch。

3.4、结果比较

DRUNet的结果相比于其它方法，结果明显是最好的。