图像融合SDDGAN文章学习

Semantic-supervised Infrared and Visible Image Fusion via a Dual-discriminator Generative Adversarial Network文章学习

模型框架

我们的生成器G的网络结构如图所示。我们在通道维度上连接红外和可见光图像，并使用它们作为g的输入。输出是最终的融合图像。g由五个公共卷积层组成。对于每个卷积层，填充设置为相同，跨距设置为1。因此，特征图的大小将不会改变。

我们的网络中有两个鉴别器Dr和Dv。它们具有相同的架构。它们都用作分类器，生成标量来估计输入图像来自真实数据而不是G的概率。

损失函数

生成器损失函数

生成器损耗LG包括监督损耗Lsup、对抗损耗Ladv、梯度损耗Lgrad和MSE损Lmse。

监督损耗Lsup

对抗损耗Ladv

梯度损耗Lgrad

第四个损失Lmse代表mse损失。我们应用MSE损失来约束融合图像以包含来自源图像的相当多的信息，其可以被定义为:

鉴别器损失函数