图像融合DDcGAN学习笔记

DDcGAN: A Dual-Discriminator Conditional Generative Adversarial Network for Multi-Resolution Image Fusion文章学习笔记

特点：双鉴别器

模型结构

DDcGAN的整个过程如图所示。给定一幅可见光图像v和一幅红外图像I，我们的最终目标是学习以它们为条件的生成器G，并且生成的图像G (v，I)被鼓励具有足够的真实性和信息量来欺骗鉴别者。

同时，我们利用两个对立的鉴别器Dv和Di，它们分别生成一个标量，该标量估计来自真实数据而不是G的输入的概率。

具体地，Dv旨在将生成的图像与可见光图像区分开，而Di被训练来在原始低分辨率红外图像和下采样生成/融合的图像之间进行鉴别。这里采用平均池进行下采样，因为与最大池相比，平均池保留了低频信息，并且热辐射信息主要以这种形式呈现。换句话说，为了生成器和鉴别器之间的平衡，除了鉴别器的输入，我们不将源图像v和I作为附加/条件信息馈送给Dv和d i。也就是说，每个鉴别器的输入层是包含采样数据的单通道层，而不是包含采样数据和相应的源图像作为条件信息的双通道层。因为当待鉴别的条件和样本相同时，鉴别任务被简化以判断输入图像是否相同，并且这对于神经网络来说是足够简单的任务。当生成器无法欺骗鉴别者时，对抗关系将无法建立，生成器将倾向于随机生成。

通过生成器G和两个鉴别器(Dv和Di)的对抗过程，PG和两个真实分布(即PV和PI)之间的差异将同时变小，其中PG是生成的样本的概率分布，PV是可见光图像的真实分布，PI是红外图像的真实分布。

生成器损失函数

生成器损失函数

其中对抗损失被定义为

其中内容损失被定义为

DDcGAN中的鉴别器，即Dv和Di，起到鉴别源图像和生成的融合图像的作用。鉴别器的对抗性损失可以计算分布之间的JS散度，从而识别强度或纹理信息是否不真实，从而鼓励匹配真实的分布。

鉴别器损失函数