UFA-FUSE：一种用于多聚焦图像融合的新型深度监督混合模型

摘要

传统的融合方法和基于深度学习的融合方法通过一系列后处理过程生成中间决策图，得到融合图像。然而，这些方法产生的融合结果容易丢失源图像的一些细节或产生伪影。受到基于深度学习的图像重建技术的启发，我们提出了一种不需要任何后处理的多焦点图像融合网络框架，以端到端监督学习的方式解决这些问题。为了充分训练融合模型，我们生成了一个包含地面真实融合图像的大规模多聚焦图像数据集。为了获得信息更丰富的融合图像，进一步设计了一种基于统一融合注意的融合策略，该融合策略由通道注意模块和空间注意模块组成。

具体而言，本文提出的融合方法主要包括三个关键部分：特征提取、特征融合和图像重建。

我们首先利用七个卷积块从源图像中提取图像特征。然后，在特征融合层，利用所提出的融合策略对提取的卷积特征进行融合。最后，通过四个卷积块重构融合后的图像特征。实验结果表明，与目前最先进的19种多聚焦图像融合方法相比，该方法具有显著的融合性能。

论文创新点

提出了一种新的多聚焦图像融合模型。融合模型可以端到端训练，不需要任何后处理过程，直接获得融合图像，不需要生成中间决策图。为了有效地训练融合模型，我们创建了一个包含ground-truth融合图像的大规模多聚焦图像数据集。为了获得高质量的融合图像，我们设计了一种基于统一融合注意机制的融合策略。首先在特征提取模块中对源图像进行7个卷积块叠加提取。然后利用所提出的融合策略对提取的图像特征进行融合。最后，对融合后的图像特征进行四个卷积块叠加重构，生成融合图像。此外，我们进行了大量的实验来评估我们所提出的融合模型的性能。定性评价和定量评价的结果表明，我们的融合模型取得了显著的效果，优于目前最先进的多聚焦图像融合算法。总的来说，我们的工作对多焦点图像融合的主要贡献有四个方面：

• 为了实现多焦点图像融合，建立了一个大规模的多焦点图像数据集。数据集中生成的多焦点图像具有部分聚焦和不同模糊程度，适合于融合模型的训练。此外，我们还介绍了如何生成大规模的多焦点图像数据集，这对制作数据集有很大的参考意义。
• 设计了一种新颖、合适的融合策略。基于所提出的统一融合注意力的融合策略能够有效地融合所提取的图像特征，同时比其他简单的融合策略更加灵活。
• 提出了一种不需要任何后处理过程的端到端融合框架。这样，融合模型中的所有参数都可以联合优化，融合网络可以直接输入融合图像，而无需生成中间决策图。
• 在红外和可见光图像数据集以及医学图像数据集上进行了一些扩展实验。进一步，我们提出的融合模型在其他融合任务的潜在应用。

模型架构

我们提出的融合框架主要包括三个部分:特征提取、特征融合和图像构建。首先，在特征提取模块中，我们采用7个堆叠的卷积块从多焦点源图像中提取图像特征，卷积块由一个核大小为3 3的卷积层和leakyRelu激活函数组成。对于输入源图像的每个卷积特征，利用我们提出的特征融合模块对得到的特征进行融合。最后，使用由四个堆叠的卷积块组成的图像构造模块对融合后的图像特征进行重构，生成融合图像。此外，为了获得更准确的融合图像，我们在训练阶段使用损失函数L来训练我们的融合网络。

在特征融合过程中，我们提出了一种新的特征融合策略。具体来说，我们的融合策略是基于统一融合注意力，并在这种高效架构的基础上开发通道和空间注意力。UFA模块的演示如图上图所示。

实验结果

结论

本文提出了一种新颖有效的图像融合模型，该模型采用有监督学习策略进行端到端训练。该方法避免了生成中间决策图，并利用后处理程序对决策图进行细化，实现了图像融合。此外，为了对所提出的融合模型进行精细训练，我们生成了一个包含ground-truth融合图像的大规模多焦点图像数据集，并设计了一种基于统一融合注意力的融合策略，在特征融合过程中可以保留更多的图像信息。首先从多个输入图像中提取出显著特征。然后利用提出的统一融合注意对提取的卷积特征进行融合。最后，将融合后的图像特征输入到级联的卷积块中重建融合图像。实验结果表明，本文所提出的融合算法能够产生高质量的融合图像。此外，对扩展实验的定性和定量评价也表明我们所提出的融合框架在其他图像融合任务中是有效的。

论文链接：https://arxiv.org/abs/2101.04506

每日坚持论文分享不易，如果喜欢我们的内容，希望可以推荐或者转发给周围的同学。

- END -