circlegan_CycleGAN的训练需要注意什么？

分享一下自己的感受，我主要使用过cyclegan做domain adaptation，也就是将synthetic转换成real data这件事情。

对！也就是follow ICML 2018中cycada这篇论文所做的工作。https://github.com/jhoffman/cycada_release​github.com

其中主要的部分也就是使用cyclegan做从GTA这种synthetic数据集转换到CityScapes这种real数据集的工作，也就是下图的意思。

介绍完背景之后，下面分享几点我在训练CycleGAN的过程中的感受。G/D默认都是用Adam优化器，初始参数默认都是相同的学习率，我听从身边的人的建议尝试调低过D的学习率，以及在前5个epoch freeze住D，后者在domain adaptation方面有些许提升，前者没有，对于生成图像质量两者效果不明显。

在CycleGAN源码中计算Ga的loss，也就是

这个Generator，和Gb是同等权重的。但是在CyCADA的代码中是

. 对于两个方向的Discriminator则都是同等权重的。我个人认为正向的S->T的生成器较大的loss会帮助我们获得想要的fake_B(在A->B的cylcegan中，realA即左侧图通过Ga获得fakeB即右侧图)

# GAN loss D_A(G_A(A))

self.loss_G_A = 2 * self.criterionGAN(self.netD_A(self.fake_B), True)