【每日论文2】Freeze the Discriminator: a Simple Baseline for Fine-Tuning GANs_stylegan2 微调 冻结

研究背景：

1. GAN网络在当前的图像视觉任务中取得了优异的效果，但是需要大量的训练数据；

2. 现在关于小数据集的GAN模型在训练过程中，D容易过拟合；

3. 现在关于小数据集的训练方法容易遭受过拟合或者不能很好的学习到目标分布；

---

方法：

1. 基于微调：将目标模型的参数初始化为源模型的预训练权重，但是容易过拟合，因此需要合适的正则化技术；

2. Scale/shift：只更新归一化层，但是生成的结果较差，尤其是当源域和目标域的差异较大时；

3. Generative latent optimization(GLO)：可以避免过拟合，但是生成的图像模糊；

4. FreezeD：冻结D的低层，微调高层；

---

实验展示：

论文作者在无条件生成和有条件生成两种情况下进行了实验分析，展示了多个不同数据集上的实验结果。

A. 无条件GAN

 以StyleGAN为预训练模型。

图2的实验结果（a）为原始StyleGAN在FFHQ上的训练结果，（b）（c）展示的结果为使用（a）的预训练模型权重以FreezeD训练的结果。

表1和表2展示了利用微调和FreezeD的方法得到最好和最终的FID分数对比，FreezeD的每个动物类别上取得的FID分数都优于微调的方法。 

B. 条件GAN

以SNGAN-projection为预训练模型。 

从图3的结果可以看出，FreezeD每一行生成的类别比微调的方法更加一致。

 表4展示了以微调和FreezeD得到FID的最佳和最终分数，FreezeD均由于微调的方法。

C. 冻结层的消融实验

 表5展示了在StyleGAN模型在猫/狗类别上冻结不同层的FID分数，冻结第四层取得了最佳的效果。

表6展示了在SNGAN-projection 在三个数据集上的FID分数。

---

总结：

感觉冻结哪一层的参数需要大量的实验验证，但是这种方法可以作为后续对小数据集研究的一个优化吧。