FusionGAN: A generative adversarial network for infrared and visible image fusion文章学习笔记

用于红外与可见光图像融合的生成式对抗网络

文章主要贡献

我们提出了一种生成式对抗架构，并设计了一种专门用于红外和可见光图像融合的损失函数。讨论了GANs用于图像融合的可行性和优越性。据我们所知，这是第一次采用遗传算法来解决图像融合的任务。

所提出的FusionGAN是端到端模型，其中融合图像可以从输入源图像自动生成，而无需手动设计活动水平测量或融合规则。

我们在公开的红外和可见光图像融合数据集上进行了实验，并与最先进的方法进行了定性和定量的比较。与以前的方法相比，提出的FusionGAN可以获得清晰的红外图像，具有清晰的突出目标和丰富的纹理。

提出的融合方法推广到融合不同分辨率的源图像，如低分辨率红外图像和高分辨率可见光图像。它可以生成高分辨率的结果图像，该图像不会受到由红外信息的上采样引起的噪声的影响。

模型结构

首先，我们在通道维度上连接红外图像Ir和可见光图像Iv。然后，将级联图像馈入生成器G，G的输出是融合图像If。由于本文设计的发生器的损失函数，在没有鉴别器D的情况下，If倾向于保留红外图像Ir的热辐射信息，保留可见光图像Iv的梯度信息。之后，我们将融合后的图像If和可见光图像Iv输入鉴别器D，目的是区分If和Iv。提出的FusionGAN在生成器G和鉴别器D之间建立了一个对抗性的博弈，If将在可视图像Iv中逐渐包含越来越多的细节信息。在训练阶段，一旦生成器G生成了鉴别器D无法区分的样本(即If)，我们就可以得到期望的融合图像If。

损失函数

生成器的损失函数包含生成器与判决器之间的对抗损失L_adv和生成图像与真实图像之间的内容损失L_content，生成器损失函数定义如下：

其中α为平衡对抗损失和内容损失的平衡系数。L_adv和L_content定义如下：

其中，I_f^n 表示在总数为Ｎ的同批次融合图像中的第ｎ个，D(∙)代表判决器的输出。

其中，H和W分别表示输入图像的高度和宽度，‖∙‖_F表示矩阵Frobenius范数，∇表示梯度算子。L_content 第一项旨在将红外图像I_r的热辐射信息保留在融合图像I_f中，L_content的第二项旨在保留可见光图像I_v中包含的梯度信息，ε是控制两项之间权衡的正参数。

判决器：

其中a和b分别表示融合图像I_f和可见光图像I_v的标签，D(I_v )和D(I_f )分别表示可见光和融合图像的分类结果。
鉴别器被设计成基于从可见光图像中提取的特征来区分融合图像和可见光图像。我们使用最小平方损失函数，它遵循最小化皮尔逊χ2散度。这使得训练过程更加稳定，鉴别器的损失函数收敛更快。

文中实验结果

从左到右:红外图像、可见光图像、经典方法的融合结果以及FusionGAN的融合结果。
第三幅图像是通过使用经典方法得到的融合结果。显然，这种传统方法只能在源图像中保留更多的纹理细节，而红外图像中目标与背景的高对比度特性在融合图像中无法保留。事实上，红外图像中的关键信息(即热辐射分布)在融合图像中完全丢失。
最右边的图像是FusionGAN的融合结果。相比之下，我们的结果保留了红外图像中的热辐射分布，因此可以很容易地检测到目标。同时，可见光图像中的背景细节(即树木、道路和水生植物)也得到很好的保留。
FusionGAN的结果可以同时保持红外图像中的热辐射分布和可见光图像中的外观纹理。

其他博主总结的近五年优秀的图像融合算法