红外与可见光图像融合入门教学
红外与可见光图像融合入门教学
该篇博客是对博主了解到的红外与可见光图像融合领域论文的一个总的介绍，论文的具体的解读欢迎大家来到红外与可见光图像融合专栏，关于该领域的问题也欢迎大家私信或则公众号联系我。另外，欢迎大家加入图像融合的QQ交流群，咱们可以一起交流交流。 QQ群：709555152 随着时间的推移，我们的图像融合专栏已然汇聚了十多篇论文解读。然而，仅凭博客文章来交流图像融合的知识与见解，似乎有些力不从心。毕竟，博主一人之力有限，而若能鼓励大家主动分享各自在图像融合领域的经验和洞见，我坚信，这对于我们这个关注图像融合的群体将带来巨大的好处。
博客使用说明
写这篇博客的目的是帮助刚入门图像融合的萌新们快速入门图像融合，同时也可以帮助在融合领域有一定深耕的大佬们了解融合现状。
第一部分是对于红外与可见光图像融合的简单介绍，用通俗的语言来讲述什么是图像融合以及为什么要进行图像融合。
第二部分是博主个人推荐给萌新们入门的读论文顺序。
第三部分是最新的图像融合论文的解读，这一部分不仅仅包含博主本人的论文解读，同时也包含各位大佬的论文解读。
第四部分则是数据集的下载地址，帮助萌新们迅速找到热门数据集。
什么是红外与可见光图像融合
对于我们刚入门的小伙伴，你可能会有一个疑惑，为什么要进行红外与可见光融合？
难道就是给你一张红外，一张可见光，直接无脑融合吗？
显然不是的，这里我们来看下示例图像
首先我们可以看到的是，红外图像中有一个明显的目标信息，何为目标信息？
这张图中就是人的信息。我们看到的是一个浑身发光的人在奔跑，但是他奔跑的场景是什么？ 我们在红外图像中是看不到背景信息的纹理信息的。那么什么是纹理信息？ 接下来我们来看一看。
看向可见光图像，在这张图像中你看不到奔跑的人，你甚至回觉得，这和红外图像拍摄的时间绝对不一样，而这正是红外与可见光融合的意义。
看向下图，你发现什么？是不是发现可将光图像中较为清晰的看到叶子的信息，相比于红外图像来说是不是更加清晰，这些内容就被我们称为纹理信息。
了解了这些内容之后，我们就可以说一说红外与可将光图像融合到底是融什么了？
通俗来讲，就是将上文中所描述的目标信息和纹理信息集成在一张图像中，即融合图像。我们希望融合图像应当是有保留红外图像的目标强度信息，同时也会保留可见光图像的纹理信息，如下图。
到了这里，你就对图像融合有一个初步的理解了，这里为了方便大家理解，粗字体描述的内容其实是最开始做红外与可见光图像融合时大家的对其的认知，在你研究了多篇论文之后，你就会发现，红外图像中的纹理信息也是不可或缺的一部分，同时可见光图像也存在一些极其亮的东西，也是我们想要保留的。
接下来一起看看有什么论文吧。
论文
以下论文顺序是我认为还可以的读论文顺序，以供大家参考，每一篇论文的介绍最开始有原文链接和博主自己的论文解读。
DeepFuse
我还是倾向于将这篇论文放在第一篇，很经典的一篇文章，可以从这篇开始读。
DenseFuse
在读完DeepFuse之后就可以开始看DenseFuse了，DenseFuse的网络结构与DeepFuse的很类似，创新的是，DenseFuse将DenseNet整合进了Encoder（解码器）中，这就大大减少了编码过程中的信息损失。
下图这样的网络结构为自动编码器，所谓自动编码器就是有一个编码器（Encoder）一个解码器（Decodeer）和一个中间层（Fusion Layer）。这种网络结构的好处就是可以单独的训练编码器和解码器，在二者训练完成之后，可以再去选择合适的中间层。
分开训练的意义是什么呢？
前期我们所用的数据集的大小是很小的，这就导致了容易过拟合现象的出现。那我们怎么才能提高网络的泛化能力呢？这时候就可以使用哪些数据量很大的数据集先进行编码器和解码器的训练，使其拥有极强的特征提取能力和图像还原能力，然后最后再并入我们的中间层，融合性能就会有很大的提升。
RFN-Nest
此时你可能觉得跳度有点大，因为这篇论文的时间和前两篇相差时间较大，但是你是绝对可以看懂的。如果有问题可以先看看NestFuse，但是博主是直接看的这个，还是可以的。
看下网络结构，你会发现和前面的好像没啥关系，但其实该网络结构依然是自动编码器结构，不同的是编码器和融合层采用多尺度的网络结构，而融合层不再是手动设计的，而是采用神经网络。详细的内容可以参考原文和解读。
FusionGAN
看了这么多篇基于自动编码器的论文，是不是有点累了，那来换一换，来看一种新的思路。到这了就必须得说一说了，马佳义大佬首次将GAN引入到红外与可将光图像融合的开山之作。只能说无敌。
DDcGAN
FusionGAN的单鉴别器会导致融合图像中红外与可见光图像的信息的不均衡，因此大佬们又开发一种双鉴别器。旨在促使融合图像中信息更加均衡。
AttentionFGAN
延续了双辨别器的一片论文，引入了注意力机制，通过我们希望注意的区域的特征的对比来判断融合图像中是否包含了可视的纹理信息和红外图像中的目标信息。
GANMcC
双鉴别器需要设置一个合理的循环训练策略，一旦策略设置的有问题，也会导致信息的不均衡，而如何设置合理的策略是极其有挑战性的。因此大佬们又开发了多分类鉴别器，基于单鉴别器实现信息的均衡。
最新论文解读
APWNet
博主： 老猪心飞扬
适合研究可见光与红外光图像融合实时性的人阅读，通过考虑下游目标识别任务，将目标检测的损失加入网络，并且使用的是逐像素的融合策略，实现在网络较为轻量的情况下保证实时性和图像质量。
数据集
TNO数据集
https://figshare.com/articles/dataset/TNO_Image_Fusion_Dataset/1008029
下载这个ARCHIVE
RoadScene数据集
https://github.com/hanna-xu/RoadScene
MSRS数据集
https://github.com/Linfeng-Tang/MSRS
M3FD数据集
https://github.com/dlut-dimt/TarDAL
下面这两个链接都可以。
总结
时间有限，先介绍这几篇，更多论文解读欢迎关注图像融合专栏。
》》图像融合专栏《《