图像融合GAN-FM学习笔记

GAN-FM: Infrared and Visible Image Fusion Using GAN With Full-Scale Skip Connection and Dual Markovian Discriminators文章学习笔记

模型结构

GAN-FM的总体框架如图所示，它包含一个发生器和两个鉴别器。给定一对配准的红外图像Iir和可见光图像Ivi，生成器旨在从两幅源图像中提取并组合有意义的信息，从而产生逼真的融合图像If以欺骗鉴别器。相反，两个鉴别器Dvi和Dir旨在正确区分融合结果和源图像。因此，生成器和鉴别器之间的对抗博弈迫使融合结果包含源图像中的独特和关键特征，例如Iir中的热信息和Ivi中的场景纹理。为了进一步加强对这两类信息的保存，我们专门设计了生成器和鉴别器。

生成器

我们采用全尺度连接的思想设计了一个基于U形的生成器，它可以提取和利用多尺度和层次特征。一方面，跳接可以将浅层的高对比度特征直接输送到深层，避免了抽象特征带来的热辐射强度损失。另一方面，多尺度网络从语义层面促进了显著特征的保存。因此，具有多尺度结构和跳跃连接的生成器能够很好地保留源图像的显著特征，尤其是红外图像中的热辐射目标。

鉴别器

两个**马尔可夫鉴别器(即Dvi和Dir)**被用于所提出的框架中，而不是现有方法中采用的常规全局鉴别器。与全局鉴别器不同，马尔可夫鉴别器试图对输入图像的每个小块进行真伪分类，这加强了鉴别器对图像块的局部结构的关注。

全尺度连接生成器和马尔可夫鉴别器的结合使得融合图像能够同时保持丰富的背景纹理和高对比度的目标。

损失函数

生成器损失函数

生成器损失函数：

其中L-in表示强度损失，L-grad表示梯度损失。β是控制折衷的参数。

强度损失L-in

强度损失约束融合图像保持与源图像相似的强度分布，以便保留重要的对比度信息。强度损失定义为:

联合梯度损失L-grad

为了保持更强和更好的纹理，我们提倡使用联合梯度损失，表征梯度损失测量纹理保留的程度。

我们根据最大选择原则构建了一个联合梯度max(|∇2ivi|(|∇2iir|)作为融合梯度的优化目标。

鉴别器损失函数

在提出的GANFM中，我们使用两个独立的鉴别器(即Dir，Dvi)来约束生成器分别捕获更多的对比度和纹理信息。相应的损失函数为LDir和LDvi，定义如下:

每一个都是交叉熵损失函数。红外鉴别器致力于准确区分红外图像和融合图像，而可见光鉴别器旨在准确区分可见光图像和融合图像。然后，这两个鉴别器与生成器处于敌对关系，这迫使生成器提高伪造能力，捕获红外和可见光模态的关键特征。