Diffusion model之DDPM

1.各种生成式模型

2.扩散模型DDPM介绍

DDPM(Denoising Diffusion Probabilistic Models)扩散模型由两个过程组成：forward process(diffusion process)以及reverse process。

forward process用于以markov链的形式向原始数据逐渐添加高斯噪声；reverse process接受随机噪声，生成目标数据（如图片）。

本文介绍均以图片为例。

2.1 forward process

涉及公式如下：

$X_0\sim q(X_0)$

$q(X_1,...,X_T|X_0):=\prod _{t=1}^{T}q(X_t|X_{t-1})$

$q(X_t|X_{t-1}):=\mathcal{N}(X_t;\sqrt{1-{\beta }_t}{X}_{t-1},{\beta }_{t}I),{\beta }_t\in (0,1)$

如果T充分大，并且存在一个好的${\beta }_t$函数，$X_T$会逐渐接近各向同性的高斯分布(isotropic Gaussian distribution)。

${\alpha }_t:=1-{\beta }_t,{\overline{\alpha }}_t:=\prod _{s=1}^t{\alpha }_s$

$q(X_t|X_0):=\mathcal{N}(X_t;\sqrt{{\overline{\alpha }}_t}{X}_0,(1-{\overline{\alpha }}_t)I)$

${\mu }_t=\sqrt{1-{\beta }_t}{X}_{t-1},{\sigma }_t^2={\beta }_t,ϵ\sim \mathcal{N}(0,1),\therefore X_t=\sqrt{1-{\beta }_t}{X}_{t-1}+\sqrt{{\beta }_t}ϵ$

2.2 reverse process

随机采样一个高斯分布 $X_T\sim \mathcal{N}(0,1)$，如果我们知道条件概率分布 $p$$(X_t|X_{t-1})$，执行反向的forward process(diffusion process)，就可以获得$X_0\sim q(X_0)$。

由于条件概率分布很难获得，我们可以通过训练神经网络来获得近似分布 $p_{\theta }$$(X_t|X_{t-1})$，$\theta$表示模型的参数。

假设 reverse process也符合高斯分布，有：

$p_{\theta }$$(X_t|X_{t-1})=\mathcal{N}(X_{t-1};{\mu }_{\theta }(x_t,t),{\Sigma }_{\theta }(x_t,t))$

DDPM中设 ${\Sigma }_{\theta }(x_t,t))={\sigma }_t^{2}I$，${\sigma }_t^2$可以取${\beta }_t$或者${\tilde{\beta }}_t=\frac{1-{\overline{\alpha }}_{t-1}}{1-{\overline{\alpha }}_t}{\beta }_t$。
\qquad\qquad\qquad 其中 ${\alpha }_t:=1-{\beta }_t$，${\overline{\alpha }}_t:=\prod _{s=1}^t{\alpha }_s$

2.3 VLB(variational lower-bound)以及训练损失函数

2.3.1 negative log-likelihood(NLL) loss与VLB：

2.3.2 VLB的进一步计算

即：

\qquad\qquad
由于$x_T$是高斯噪音且$q$无需要学习的参数，因此$L_T$是常数项，可忽略。

2.3.3 VLB中$L_{t-1}$项的计算

$L_{t-1}$项：
\qquad\qquad

其中 ${\tilde{\mu }}_t$的推导可参考What are Diffusion Models?。

2.3.4 DDPM中使用的简化损失函数/训练目标

DDPM论文中最终建议使用的损失函数同时也忽略了$L_0$项，
\qquad\qquad

3.训练以及推断

3.1 训练过程

从数据集中选择图片，使用均匀采用选择一个t值，利用前述损失函数，训练深度学习模型。

3.2 推断过程

随机产生一张符合高斯分布的噪音图片$x_T$，利用迭代公式，迭代T次，获得生成图片$x_0$。

参考文献

[1] Hugging Face：The Annotated Diffusion Model
[2] What are Diffusion Models?
[3] How A.I. Creates Art - A Gentle Introduction to Diffusion Models
[4]diffusion model模型应用与理解
[5] 保姆级讲解 Diffusion 扩散模型（DDPM）
[6] 物理改变图像生成：扩散模型启发于热力学，比它速度快10倍的挑战者来自电动力学
[7] Introduction to Diffusion Models for Machine Learning
[8] Denoising Diffusion Probabilistic Models
[9] PROBABILITY DISTRIBUTIONS
[10] Improved Denoising Diffusion Probabilistic Models
[11] ELBO — What & Why