当前位置:   article > 正文

diffusion 和 gan 的优缺点对比_gan和diffusion优缺点

gan和diffusion优缺点
  • train
  • GAN 训练的网络是生成器和判别器,生成器用于生成图像,判别器辅助生成器的训练。
  • Diffusion 训练的噪声评估网络。

  • sample
  • GAN 推理快,GAN的生成网络有维度变化。
  • Diffusion 推理慢,需要迭代更多次,推理过程图像尺寸不变。

  • 训练难度
  • GAN 的训练可能是不稳定的,容易出现模式崩溃和训练振荡等问题。
  • Diffusion 训练loss收敛性好,比较平稳。

  • 模拟分布连续性
  • Diffusion相较于GAN可以模拟更加复杂,更加非线性的分布。但是Diffusion模拟的分布没有GAN连续性好,特别是在video风格迁移的时候,可能帧之间的关系会有很大差别。Diffusion就可以建模更加general,复杂的图像,大模型正需要像Diffusion这样的能力。所以SD等cv大模型才会依靠Diffusion越来越强大。
  • GAN可以在某种单个类别的生成上做到很好的效果,比如人脸。GAN很难在多种不同类别的图像组成的数据集上学到这样复杂的分布。

  • 模型可控性
  • 以StyleGAN为代表的GAN,生成器的输入latent space包括noise和latent code(w)。w的存在使得GAN的可控性更加直接,通过控制低维数据就可以控制高维数据的生成(但这种控制更加抽象),比如连续性插值操作和DragGAN等。
  • 以SD为代表的Diffusion输入有noise latent space和text embedding space。text embedding的可控性没有w来的直接。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/笔触狂放9/article/detail/587726
推荐阅读
相关标签
  

闽ICP备14008679号