[代码阅读] CycleGAN: Unpaired Image-To-Image Translation Using Cycle-Consistent Adversarial Networks

[论文地址][代码][ICCV 17]

损失函数

为了简单起见，只考虑Cycle中的半个循环，另一半是对称的。

Adversarial Loss

对抗损失的作用是判断生成的图像是否"像"目标域的图像，本文使用Least Square Loss(平方误差)来进行这一判断过程，公式如下：
$${\mathcal{L}}_{\text{LSGAN}}(G,D_Y,X,Y)={\mathbb{E}}_{y\sim p_{\text{data}}(y)}[(D_Y(y)-1{)}^2]+{\mathbb{E}}_{x\sim p_{\text{data}}(x)}[D_Y(G(x){)}^2]$$ 其中，G代表生成器，$D_Y$表示目标域的判别器(用于区分生成的$G(x)$与真实的$y$)，$X$表示源域，$Y$表示目标域。代码如下：

• 实现Least Square Loss：

# cycle_gan_model.py 90行
self.criterionGAN = networks.GANLoss(opt.gan_mode).to(self.device)  # define GAN loss.

# networks.py 231行
if gan_mode == 'lsgan':
    self.loss = nn.MSELoss()

• 将源域A的图像x(real_A)送入生成器，得到假的目标域B的图像(fake_B)：

# cycle_gan_model.py 114行
self.fake_B = self.netG_A(self.real_A)  # G_A(A)

• 将真实的目标域B的图像送入判别器，得到一个分数。我们希望判别器能够区分出真实的图像：

# cycle_gan_model.py 131行
pred_real = netD(real)
loss_D_real = self.criterionGAN(pred_real, True)

• 将生成的目标域B的图像送入判别器，得到一个分数，我们希望判别器能够区分虚假的图像：

# cycle_gan_model.py 134行
pred_fake = netD(fake.detach())
loss_D_fake = self.criterionGAN(pred_fake, False)

至此对抗损失的判别器部分结束。生成器部分如下，我们希望生成的图像能够骗过判别器：

# cycle_gan_model.py 169行
self.loss_G_A = self.criterionGAN(self.netD_A(self.fake_B), True)

---

Cycle Loss

循环损失的作用在于令源域A的图像在转换至目标域B后，仍然能转换回源域A，这就间接要求A->B的过程不去丢失图像中原有的信息，从而实现图像风格转换。本文使用L1 Loss(绝对误差)来实现这一过程：$${\mathcal{L}}_{\text{cyc}}(G,F)={\mathbb{E}}_{x\sim p_{\text{data}}(x)}[\Vert F(G(x))-x{\Vert }_1]$$ 代码如下：

• 实现L1 Loss：

# cycle_gan_model.py 91行
self.criterionCycle = torch.nn.L1Loss()

• 将源域A的图像x(real_A)送入生成器，得到假的目标域B的图像(fake_B)，再转换回源域A的图像(rec_A)：

# cycle_gan_model.py 114行
 self.fake_B = self.netG_A(self.real_A)  # G_A(A)
 self.rec_A = self.netG_B(self.fake_B)   # G_B(G_A(A))

判断重建的图像与原始图像是否相同：

# cycle_gan_model.py 173行
self.loss_cycle_A = self.criterionCycle(self.rec_A, self.real_A)