Diffusion Model, Stable Diffusion, Stable Diffusion XL 详解_diffusion模型训练过程中 哪个指标通常用于衡量生成数据的质量

Diffusion Model

生成模型

常见的生成模型有：

• GAN
• VAE
• Flow-based
  
  与 VAE 或Flow-based 模型不同，扩散模型是通过固定的过程学习的，latent variable 具有高维度（与原始数据相同）。

文生图模型的基本架构如下：

• 文本编码器（Text Encoder）用于编码文本的输入
• 生成模型 （Generation Model）输入文字和杂讯，生成一个中间产物（这个中间产物可以是人看得懂的一个压缩图片，也可以是噪音）
• 解码器 （Decoder） 解码器，输入中间产物，得到最终的输出的图片。
  通常而言，上述的三个模型是分开训练的，最后组合到一起。
  
• 例如 Stable Diffusion
  
• DALL-E
  
• Imagen
  

衡量图像生成质量的指标

• FID
  将生成的图片和真是的图片都输入到预训练好的CNN模型中，然后计算输出高斯分布的Frechet的距离。其值越小越好。
  
• CLIP score
  将生成的图片和输入的文本提示，分别送入Image encoder 和text encoder ,计算二者输出的距离。如果图像文本匹配，则距离越近越好。如果不匹配，则其距离越远越好。CLIP score的得分越大越好。
  

DDPM概述

• 基本思想
  Denoising Diffusion Probabilistic Models (DDPM)
  受非平衡统计物理启发[1]，是通过一个迭代的向前扩散过程 ，系统地、缓慢地破坏数据分布中的结构。然后，我们学习一个逆扩散过程，将数据中的结构恢复，从而产生一个高度灵活且易于处理的数据生成模型。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/不正经/article/detail/655468