stable diffusion(LDM)--图片生成模型_ldm模型

作者：凡人多烦事01 | 2024-03-14 11:03:47

踩

ldm模型

1 简介

本文根据2022年4月的《High-Resolution Image Synthesis with Latent Diffusion Models 》翻译总结的。论文地址https://arxiv.org/pdf/2112.10752.pdf。源码地址：GitHub - CompVis/latent-diffusion: High-Resolution Image Synthesis with Latent Diffusion Models。

以前的扩散模型（diffusion models (DMs) ）基于像素级别的，其需要上百个GPU day 进行训练。我们的方法latent diffusion models (LDMs) 在减少计算复杂度和保留细节、提升保真度中接近了最佳。

我们的方法latent diffusion models (LDMs)是两阶段模型（two-stage）。先对图片进行压缩，将图片压缩为隐变量表示（latent），减少计算复杂度，然后输入扩散模型。

如下图所示，我们进行的感知（perceptual）图片压缩不会丢失太多语义信息，但减少了计算量。

2 相关工作

图片生成模型

GAN模型的结果是被限制在比较的数据集，因为它的对抗学习过程不是很容易扩展模型复杂度和多模态分布。GAN虽然可以生成高分辨率的图片，但很难优化而较难捕捉完整的数据分布。
Variational autoencoders (VAE) 和 flow-based的模型可以高效的合成高分辨率图片，但其效果不如GAN模型。
autoregressive models (ARM)在密集（density）估计上有很强的表现，但计算要求高的体系结构和顺序采样过程，故只能生成低分辨率图像。因为图片的像素级别的表示包含着几乎不可感知、高频的细节， maximum-likelihood 训练花费大量的精力来对这些细节建模，导致了很长的训练时间。为了扩展到高分辨率，一些两阶段（two-stage）方法使用ARM来构建压缩的图片隐变量表示，而不是原始像素级别的表示。
扩散模型是属于基于可能性的（ likelihood-based ）模型。基于可能性的方法强调好的密集（density）估计，这使得其表现良好。

两阶段（two-stage）图片生成

VQ-VAEs在一个离散化的空间使用自回归模型（ARM）学习图片的先验。

我们的方法latent diffusion models (LDMs)也是两阶段模型。

3 方法

我们模型latent diffusion models (LDMs)是两阶段的。第一部分就是下面左半部分（红色），对图片进行压缩，将图片压缩为隐变量表示（latent），这样可以减少计算复杂度；第二部分还是扩散模型（diffusion与denoising），中间绿色部分。此外引入了cross-attention机制，下图右半部分，方便文本或者图片草稿图等对扩散模型进行施加影响，从而生成我们想要的图片，比如根据文本生成我们想要的图片。