深度学习（生成式模型）——DDPM：denoising diffusion probabilistic models_生成式模型 调参

前言

本文将总结扩散模型DDPM的原理，首先介绍DDPM的基本流程，接着展开介绍流程里的细节，最后针对DDPM的优化函数进行推导，以让读者明白DDPM参数估计的原理。

本文不会对扩散模型的motivation进行讲解，作者有点鬼才，完全想不到他是怎么想出这种训练范式的

生成式模型的代表作为GAN，然而，GAN的训练十分困难，对抗训练稍有不慎便会陷入模式坍塌(model collapse)。在此背景下产生了Diffusion Model，其具备训练简单，生成图像多样化的特点，DDPM便是其中的代表作。

以下推导如有错误，欢迎指出

DDPM的基本流程

DDPM分为前向过程与逆向过程。

前向过程

前向过程发生在训练时：

• 从均匀分布Uniform(1,2,3…,T)中采样一个样本$t$。
• 对一张图像$x_0$添加$t$次从标准正态分布$\mathcal{N}(0,\mathcal{I})$中采样到的高斯噪声（${ϵ}_1$、${ϵ}_2$、…、${ϵ}_t$），得到噪声图像$x_t$。
• $x_t$输入到U-Net结构的网络，网络的输出将拟合添加到$x_0$中的噪声$ϵ$。

在DDPM中，神经网络扮演的角色为预测添加到图像$x_0$中的噪声（其实本质是预测马尔科夫状态链中$q(x_{t-1}|x_t)$的均值）。当$t$足够大时，即$t=T$时，$x_T$为将服从标准正态分布。

反向过程

反向过程发生在推断时：

• 从标准正态分布$\mathcal{N}(0,\mathcal{I})$中采样一个"噪声图像"$x_T$。
• 将$x_T$输入到U-Net结构的网络中，网络输出高斯噪声${ϵ}_T$。
• 从标准正态分布$\mathcal{N}(0,\mathcal{I})$中采样得到$z$
• 利用噪声图像$x_T$ 、${ϵ}_T$、$z$，依据重参数化公式得到（采样）图像$x_{T-1}$，重参数化公式可看下一章节中的Sampling。
• 重复上述过程$T$次，即可生成图像$x_0$。

DDPM训练与测试伪代码

上图中的${ϵ}_{\theta }$即神经网络。

从前向过程和反向过程可以看出DDPM的训练和推断过程都需要耗费大量的计算资源。后续的DDIM有效降低了推断过程所需的计算资源，而stable diffsuion 则同时降低了训练和推断过程中所需的计算资源。后续的博客将对两者进行总结

后续内容将延续上述符号定义

在详细介绍前向过程和反向过程前，我们需要知道DDPM将图像生成看成一种马尔科夫链，即$x_t$的生成仅依赖于$x_{t-1}$或$x_{t+1}$，则前向过程（虚线）和反向过（实线）程可以表示为下图

为了书写方便，除非特殊提及，在以下的所有推导中，所有的$x$、$ϵ$符号都表示随机变量，而不是一个样本。

前向过程详解

依据马尔科夫链的特性，在前向过程中，定义$x_t$可从$x_{t-1}$中按下式得到：
$$x_t=\sqrt{1-{\beta }_t}{x}_{t-1}+\sqrt{{\beta }_t}{ϵ}_t\text{\hspace{1em}(1.0)}$$
${\beta }_t$是一个人为设定的常数，取值为(0,1)。其满足以下特性
$${\beta }_1<{\beta }_2<...<{\beta }_T$$

从式1.0可知$x_t$的生成仅仅依赖$x_{t-1}$，与$x_0$无关，因此有$$x_t\sim q(x_t|x_{t-1})=\mathcal{N}(x_t;\sqrt{1-{\beta }_t}{x}_{t-1},{\beta }_t\mathcal{I})\text{\hspace{1em}(1.1)}$$

利用重参数化的技巧，从式1.0中的形式可以得出式1.1。

重参数化：$X\sim \mathcal{N}(0,\mathcal{I})$，则$\mu +\delta X\sim N(\mu ,{\delta }^2)$

前向过程需要对式1.0重复t次，非常耗时，能否仅采样一次，就得到状态t时刻的样本呢？

为了实现上述想法，我们需要得到分布$q(x_t|x_0)$的具体形式，

为了后续推导出的式子更加简洁，设
α t = 1 − β t α ˉ t = α t α t − 1 . . . α 0

$$\begin{aligned} \alpha_t&=1-\beta_t\\ \bar \alpha_t & = \alpha_t\alpha_{t-1}...\alpha_0 \end{aligned}$$ αt​αˉt​​=1−βt​=αt​αt−1​...α0​​对式1.0进行展开可得
$$\begin{array}{rl}{x}_t& =\sqrt{1-{\beta }_t}{x}_{t-1}+\sqrt{{\beta }_t}{ϵ}_t\\ & =\sqrt{1-{\beta }_t}(\sqrt{1-{\beta }_{t-1}}{x}_{t-2}+\sqrt{{\beta }_{t-1}}{ϵ}_{t-1})+\sqrt{{\beta }_t}{ϵ}_t\\ & =\sqrt{{\alpha }_t}(\sqrt{{\alpha }_{t-1}}{x}_{t-2}+\sqrt{1-{\alpha }_{t-1}}{ϵ}_{t-1})+\sqrt{1-{\alpha }_t}{ϵ}_t\\ & =\sqrt{{\alpha }_t{\alpha }_{t-1}}{x}_{t-2}+\sqrt{{\alpha }_t(1-{\alpha }_{t-1})}{ϵ}_{t-1}+\sqrt{1-{\alpha }_t}{ϵ}_t\\ & =\sqrt{{\alpha }_t{\alpha }_{t-1}}{x}_{t-2}+\sqrt{1-{\alpha }_t{\alpha }_{t-1}}{ϵ}_t\\ & =\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}{ϵ}_t\end{array}\text{\hspace{1em}(1.2)}$$
上述等式的倒数第二行推导逻辑如下，已知${ϵ}_t$、${ϵ}_{t-1}$服从标准正态分布，依据重参数化可知：
$$\begin{array}{rl}\sqrt{{\alpha }_t(1-{\alpha }_{t-1})}{ϵ}_{t-1}& \sim \mathcal{N}(0,{\alpha }_t(1-{\alpha }_{t-1}))\\ \sqrt{1-{\alpha }_t}{ϵ}_t& \sim \mathcal{N}(0,1-{\alpha }_t)\end{array}$$

两个均值为0的高斯分布相加具备以下性质

$$\mathcal{N}(0,{\delta }_1^2)+\mathcal{N}(0,{\delta }_2^2)=\mathcal{N}(0,{\delta }_1^2+{\delta }_2^2)$$

则有
$$\sqrt{{\alpha }_t(1-{\alpha }_{t-1})}{ϵ}_{t-1}+\sqrt{1-{\alpha }_t}{ϵ}_t\sim \mathcal{N}(0,1-{\alpha }_t)+\mathcal{N}(0,{\alpha }_t(1-{\alpha }_{t-1}))=\mathcal{N}(0,1-{\alpha }_t{\alpha }_{t-1})$$
因此我们可以利用分布$\mathcal{N}(0,1-{\alpha }_t{\alpha }_{t-1})$中的随机变量来替代$\sqrt{{\alpha }_t(1-{\alpha }_{t-1})}{ϵ}_{t-1}+\sqrt{1-{\alpha }_t}{ϵ}_t$，利用重参数化技巧推出式1.3
$$q(x_t|x_0)=\mathcal{N}(x_t;\sqrt{{\bar{\alpha }}_t}{x}_0,(1-{\bar{\alpha }}_t)\mathcal{I})\text{\hspace{1em}(1.3)}$$

利用式1.2，我们可以仅通过一次采样就能获得状态$t$时刻的样本。

反向过程详解

依据马尔科夫链的性质，我们需要得到分布$q(x_{t-1}|x_t)$的具体形式，进而通过重参数化技巧进行采样。对其展开可得
q ( x t − 1 ∣ x t ) = q ( x t − 1 x t ) q ( x t ) = q ( x t ∣ x t − 1 ) q ( x t − 1 ) q ( x t )

$$\begin{aligned} q(x_{t-1}|x_{t})&=\frac{q(x_{t-1}x_t)}{q(x_t)}\\ &=\frac{q(x_t|x_{t-1})q(x_{t-1})}{q(x_t)} \end{aligned}$$ q(xt−1​∣xt​)​=q(xt​)q(xt−1​xt​)​=q(xt​)q(xt​∣xt−1​)q(xt−1​)​​

我们无法知晓$q(x_{t-1})$、$q(x_t)$的具体分布形式，因此$q(x_{t-1}|x_{x_t})$是intractable的。作者在此用了一个trick，在反向过程的马尔可夫链中，随机变量$x_{t-1}$仅仅依赖于$x_t$，不依赖于$x_0$，利用这个特性，我们有
q ( x t − 1 ∣ x t ) = q ( x t − 1 ∣ x t , x 0 ) = q ( x t − 1 , x t , x 0 ) q ( x t , x 0 ) = q ( x t ∣ x t − 1 , x 0 ) q ( x t − 1 , x 0 ) q ( x t ∣ x 0 ) q ( x 0 ) = q ( x t ∣ x t − 1 , x 0 ) q ( x t − 1 ∣ x 0 ) q ( x 0 ) q ( x t ∣ x 0 ) q ( x 0 ) = q ( x t ∣ x t − 1 , x 0 ) q ( x t − 1 ∣ x 0 ) q ( x t ∣ x 0 ) = q ( x t ∣ x t − 1 ) q ( x t − 1 ∣ x 0 ) q ( x t ∣ x 0 ) (2.0)

$$\begin{aligned} q(x_{t-1}|x_{t})&=q(x_{t-1}|x_{t},x_0)\\ &=\frac{q(x_{t-1},x_t,x_0)}{q(x_t,x_0)}\\ &=\frac{q(x_{t}|x_{t-1},x_0)q(x_{t-1},x_0)}{q(x_t|x_0)q(x_0)}\\ &=\frac{q(x_{t}|x_{t-1},x_0)q(x_{t-1}|x_0)q(x_0)}{q(x_t|x_0)q(x_0)}\\ &=\frac{q(x_{t}|x_{t-1},x_0)q(x_{t-1}|x_0)}{q(x_t|x_0)}\\ &=\frac{q(x_{t}|x_{t-1})q(x_{t-1}|x_0)}{q(x_t|x_0)}\tag{2.0} \end{aligned}$$ q(xt−1​∣xt​)​=q(xt−1​∣xt​,x0​)=q(xt​,x0​)q(xt−1​,xt​,x0​)​=q(xt​∣x0​)q(x0​)q(xt​∣xt−1​,x0​)q(xt−1​,x0​)​=q(xt​∣x0​)q(x0​)q(xt​∣xt−1​,x0​)q(xt−1​∣x0​)q(x0​)​=q(xt​∣x0​)q(xt​∣xt−1​,x0​)q(xt−1​∣x0​)​=q(xt​∣x0​)q(xt​∣xt−1​)q(xt−1​∣x0​)​​(2.0)

结合式1.1、1.3，利用高斯分布的具体表达式，对式2.0（忽略高斯分布的系数）进行进一步推导有

q ( x t − 1 ∣ x t ) = exp ⁡ ( − 1 2 ( ( x t − α t x t − 1 ) 2 β t + ( x t − 1 − α ˉ t − 1 x 0 ) 2 1 − α ˉ t − 1 − ( x t − α ˉ t x 0 ) 2 1 − α ˉ t ) ) = exp ⁡ ( − 1 2 ( x t 2 − 2 α t x t x t − 1 + α t x t − 1 2 β t + x t − 1 2 − 2 α ˉ t − 1 x 0 x t − 1 + α ˉ t − 1 x 0 2 1 − α ˉ t − 1 − ( x t − α ˉ t x 0 ) 2 1 − α ˉ t ) ) = exp ⁡ ( − 1 2 ( ( α t β t + 1 1 − α t − 1 ) x t − 1 2 − ( 2 α t β t x t + 2 α ˉ t − 1 1 − α ˉ t − 1 x 0 ) x t − 1 + C ( x t , x 0 ) ) ) (2.1)

$$\begin{aligned} q(x_{t-1}|x_t)&=\exp(-\frac{1}{2}(\frac{(x_t-\sqrt{\alpha_t}x_{t-1})^2}{\beta_t}+\frac{(x_{t-1}-\sqrt{\bar\alpha_{t-1}}x_0)^2}{1-\bar\alpha_{t-1}}-\frac{(x_t-\sqrt{\bar\alpha_t}x_0)^2}{1-\bar \alpha_t}))\\ &=\exp(-\frac{1}{2}(\frac{x_t^2-2\sqrt{\alpha_t}x_tx_{t-1}+\alpha_tx_{t-1}^2}{\beta_t}+\frac{x_{t-1}^2-2\sqrt{\bar\alpha_{t-1}}x_0x_{t-1}+\bar\alpha_{t-1}x_0^2}{1-\bar\alpha_{t-1}}-\frac{(x_t-\sqrt{\bar\alpha_t}x_0)^2}{1-\bar \alpha_t}))\\ &=\exp(-\frac{1}{2}((\frac{\alpha_t}{\beta_t}+\frac{1}{1-\alpha_{t-1}})x_{t-1}^2-(\frac{2\sqrt{\alpha_t}}{\beta_t}x_t+\frac{2\sqrt{\bar\alpha_{t-1}}}{1-\bar\alpha_{t-1}}x_0)x_{t-1}+C(x_t,x_0)))\tag{2.1} \end{aligned}$$ q(xt−1​∣xt​)​=exp(−21​(βt​(xt​−αt​ ​xt−1​)2​+1−αˉt−1​(xt−1​−αˉt−1​ ​x0​)2​−1−αˉt​(xt​−αˉt​ ​x0​)2​))=exp(−21​(βt​xt2​−2αt​ ​xt​xt−1​+αt​xt−12​​+1−αˉt−1​xt−12​−2αˉt−1​ ​x0​xt−1​+αˉt−1​x02​​−1−αˉt​(xt​−αˉt​ ​x0​)2​))=exp(−21​((βt​αt​​+1−αt−1​1​)xt−12​−(βt​2αt​ ​​xt​+1−αˉt−1​2αˉt−1​ ​​x0​)xt−1​+C(xt​,x0​)))​(2.1)

等式的最后一列就是合并同类项，不包含$x_{t-1}$的项都合并到了$C(x_t,x_0)$中，我们对高斯分布的展开形式做个回顾：

N ( μ , δ 2 ) = 1 2 π δ exp ⁡ ( − ( x − μ ) 2 2 δ 2 ) = 1 2 π δ exp ⁡ ( − ( 1 2 δ 2 x 2 − μ δ 2 x + μ 2 δ 2 ) )

$$\begin{aligned} \mathcal N(\mu,\delta^2)&=\frac{1}{\sqrt{2\pi}\delta}\exp(-\frac{(x-\mu)^2}{2\delta^2})\\ &=\frac{1}{\sqrt{2\pi}\delta}\exp(-(\frac{1}{2\delta^2}x^2-\frac{\mu}{\delta^2}x+\frac{\mu^2}{\delta^2})) \end{aligned}$$ N(μ,δ2)​=2π ​δ1​exp(−2δ2(x−μ)2​)=2π ​δ1​exp(−(2δ21​x2−δ2μ​x+δ2μ2​))​

依据上述展开，以及${\bar{\alpha }}_t={\alpha }_t{\alpha }_{t-1}...{\alpha }_0$、${\alpha }_t=1-{\beta }_t$，$x_t=\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}{ϵ}_t$，我们对式2.1进行补齐缺失项后可得$q(x_{t-1}|x_t)$的均值${\mu }_t$和方差${\delta }_t$为
δ t = 1 α t β t + 1 1 − α t − 1 = 1 α t − α ˉ t + β t β t ( 1 − α ˉ t − 1 ) = 1 − α ˉ t − 1 1 − α ˉ t β t μ t = ( 2 α t β t x t + 2 α ˉ t − 1 1 − α ˉ t − 1 x 0 ) / ( α t β t + 1 1 − α t − 1 ) = ( 2 α t β t x t + 2 α ˉ t − 1 1 − α ˉ t − 1 x 0 ) 1 − α ˉ t − 1 1 − α ˉ t β t = α t ( 1 − α ˉ t − 1 ) 1 − α ˉ t x t + α ˉ t − 1 β t 1 − α ˉ t x 0 = α t ( 1 − α ˉ t − 1 ) 1 − α ˉ t x t + α ˉ t − 1 β t 1 − α ˉ t ( x t − 1 − α ˉ t ϵ t α ˉ t ) = 1 α t ( x t − 1 − α t 1 − α ˉ t ϵ t ) (2.2)

$$\begin{aligned} \delta_t&=\frac{1}{\frac{\alpha_t}{\beta_t}+\frac{1}{1-\alpha_{t-1}}}=\frac{1}{\frac{\alpha_t-\bar\alpha_t+\beta_t}{\beta_t(1-\bar\alpha_{t-1})}}=\frac{1-\bar\alpha_{t-1}}{1-\bar\alpha_t}\beta_t\\ \mu_t&=(\frac{2\sqrt{\alpha_t}}{\beta_t}x_t+\frac{2\sqrt{\bar\alpha_{t-1}}}{1-\bar\alpha_{t-1}}x_0)/(\frac{\alpha_t}{\beta_t}+\frac{1}{1-\alpha_{t-1}})\\ &=(\frac{2\sqrt{\alpha_t}}{\beta_t}x_t+\frac{2\sqrt{\bar\alpha_{t-1}}}{1-\bar\alpha_{t-1}}x_0)\frac{1-\bar\alpha_{t-1}}{1-\bar\alpha_t}\beta_t\\ &=\frac{\sqrt{\alpha_t}(1-\bar\alpha_{t-1})}{1-\bar\alpha_t}x_t+\frac{\sqrt{\bar\alpha_{t-1}}\beta_t}{1-\bar\alpha_t}x_0\\ &=\frac{\sqrt{\alpha_t}(1-\bar\alpha_{t-1})}{1-\bar\alpha_t}x_t+\frac{\sqrt{\bar\alpha_{t-1}}\beta_t}{1-\bar\alpha_t}(\frac{x_t-\sqrt{1-\bar\alpha_t}\epsilon_t}{\sqrt{\bar\alpha_t}})\\ &=\frac{1}{\sqrt{\alpha_t}}(x_t-\frac{1-\alpha_t}{\sqrt{1-\bar\alpha_t}}\epsilon_t) \end{aligned}$$ \tag{2.2} δt​μt​​=βt​αt​​+1−αt−1​1​1​=βt​(1−αˉt−1​)αt​−αˉt​+βt​​1​=1−αˉt​1−αˉt−1​​βt​=(βt​2αt​ ​​xt​+1−αˉt−1​2αˉt−1​ ​​x0​)/(βt​αt​​+1−αt−1​1​)=(βt​2αt​ ​​xt​+1−αˉt−1​2αˉt−1​ ​​x0​)1−αˉt​1−αˉt−1​​βt​=1−αˉt​αt​ ​(1−αˉt−1​)​xt​+1−αˉt​αˉt−1​ ​βt​​x0​=1−αˉt​αt​ ​(1−αˉt−1​)​xt​+1−αˉt​αˉt−1​ ​βt​​(αˉt​ ​xt​−1−αˉt​ ​ϵt​​)=αt​ ​1​(xt​−1−αˉt​ ​1−αt​​ϵt​)​(2.2)
上式中的${ϵ}_t$可以由神经网络预测得到（可回顾“DDPM基本流程章节”）。依据式2.2，利用重参数化从样本$x_t$得到样本$x_{t-1}$的流程为

• 从$\mathcal{N}(0,\mathcal{I})$采样得到$z$
• 将$x_t$输入到网络中，由网络预测${ϵ}_t$
• $x_{t-1}$=$\frac{1}{\sqrt{{\alpha }_t}}(x_t-\frac{1-{\alpha }_t}{\sqrt{1-{\bar{\alpha }}_t}}{ϵ}_t)+{\delta }_{t}z$

DDPM损失函数推导

至此，我们已经对前向过程与反向过程进行了详细的介绍，也知晓神经网络在DDPM中扮演的角色为预测最后一次添加到图像中的噪声，自然也能推断出DDPM的损失函数类似于MSE。在本章节中，博主将推导DDPM的损失函数。

深度学习领域的许多模型都通过极大化对数似然来进行参数估计，设网络为$p_{\theta }(x_0)$，则对数似然为$\log p_{\theta }(x_0)$，最大化对数似然等价于最小化$-\log p_{\theta }(x_0)$，DDPM通过优化其上界进行参数估计。已知KL散度取值大于等于0，则其上界为（$q(x_{1:T}|x_0)$表示真实的数据分布）

− log ⁡ p θ ( x 0 ) ≤ − log ⁡ p θ ( x 0 ) + D K L ( q ( x 1 : T ∣ x 0 ) ∣ ∣ p θ ( x 1 : T ∣ x 0 ) ) = − log ⁡ p θ ( x 0 ) + E q ( x 1 : T ∣ x 0 ) [ log ⁡ q ( x 1 : T ∣ x 0 ) p θ ( x 0 : T ) / p θ ( x 0 ) ] = − log ⁡ p θ ( x 0 ) + E q ( x 1 : T ∣ x 0 ) [ log ⁡ q ( x 1 : T ∣ x 0 ) p θ ( x 0 : T ) + log ⁡ p θ ( x 0 ) ] = − log ⁡ p θ ( x 0 ) + E q ( x 1 : T ∣ x 0 ) [ log ⁡ q ( x 1 : T ∣ x 0 ) p θ ( x 0 : T ) ] + E q ( x 1 : T ∣ x 0 ) [ log ⁡ p θ ( x 0 ) ] = − log ⁡ p θ ( x 0 ) + E q ( x 1 : T ∣ x 0 ) [ log ⁡ q ( x 1 : T ∣ x 0 ) p θ ( x 0 : T ) ] + log ⁡ p θ ( x 0 ) = E q ( x 1 : T ∣ x 0 ) [ log ⁡ q ( x 1 : T ∣ x 0 ) p θ ( x 0 : T ) ]

$$\begin{aligned} -\log p_\theta(x_0) &\leq -\log p_\theta(x_0)+D_{KL}(q(x_{1:T}|x_0)||p_{\theta}(x_{1:T}|x_0))\\ &=-\log p_\theta(x_0)+E_{q(x_{1:T}|x_0)}[\log\frac{q(x_{1:T}|x_0)}{p_{\theta}(x_{0:T})/p_{\theta}(x_0)}]\\ &=-\log p_\theta(x_0)+E_{q(x_{1:T}|x_0)}[\log\frac{q(x_{1:T}|x_0)}{p_\theta(x_{0:T})}+\log p_{\theta}(x_0)]\\ &=-\log p_\theta(x_0)+E_{q(x_{1:T}|x_0)}[\log\frac{q(x_{1:T}|x_0)}{p_\theta(x_{0:T})}]+E_{q(x_{1:T}|x_0)}[\log p_{\theta}(x_0)]\\ &=-\log p_\theta(x_0)+E_{q(x_{1:T}|x_0)}[\log\frac{q(x_{1:T}|x_0)}{p_\theta(x_{0:T})}]+\log p_{\theta}(x_0)\\ &=E_{q(x_{1:T}|x_0)}[\log\frac{q(x_{1:T}|x_0)}{p_\theta(x_{0:T})}] \end{aligned}$$ −logpθ​(x0​)​≤−logpθ​(x0​)+DKL​(q(x1:T​∣x0​)∣∣pθ​(x1:T​∣x0​))=−logpθ​(x0​)+Eq(x1:T​∣x0​)​[logpθ​(x0:T​)/pθ​(x0​)q(x1:T​∣x0​)​]=−logpθ​(x0​)+Eq(x1:T​∣x0​)​[logpθ​(x0:T​)q(x1:T​∣x0​)​+logpθ​(x0​)]=−logpθ​(x0​)+Eq(x1:T​∣x0​)​[logpθ​(x0:T​)q(x1:T​∣x0​)​]+Eq(x1:T​∣x0​)​[logpθ​(x0​)]=−logpθ​(x0​)+Eq(x1:T​∣x0​)​[logpθ​(x0:T​)q(x1:T​∣x0​)​]+logpθ​(x0​)=Eq(x1:T​∣x0​)​[logpθ​(x0:T​)q(x1:T​∣x0​)​]​
对其展开则有
$$\begin{array}{rl}L& =E_{q(x_{1:T}|x_0)}[\log \frac{q(x_{1:T}|x_0)}{p_{\theta }(x_{0:T})}]\\ & =E_q[\frac{{\prod }_{t=1}^{T}q(x_t|x_{t-1})}{p_{\theta }(x_T){\prod }_{t=1}^T{p}_{\theta }(x_{t-1}|x_t)}]\\ & =E_q[-\log p_{\theta }(x_T)+\sum _{t=1}^T\log \frac{q(x_t|x_{t-1})}{p_{\theta }(x_{t-1}|x_t)}]\\ & =E_q[-\log p_{\theta }(x_T)+\sum _{t=2}^T\log \frac{q(x_t|x_{t-1})}{p_{\theta }(x_{t-1}|x_t)}+\log \frac{q(x_1|x_0)}{p_{\theta }(x_0|x_1)}]\\ & =E_q[-\log p_{\theta }(x_T)+\sum _{t=2}^T\log (\frac{q(x_t|x_{t-1},x_0)}{p_{\theta }(x_{t-1}|x_t)}.\frac{q(x_t|x_0)}{q(x_{t-1}|x_0)})+\log \frac{q(x_1|x_0)}{p_{\theta }(x_0|x_1)}]\\ & =E_q[-\log p_{\theta }(x_T)+\sum _{t=2}^T\log \frac{q(x_t|x_{t-1},x_0)}{p_{\theta }(x_{t-1}|x_t)}+\sum _{t=2}^T\log \frac{q(x_t|x_0)}{q(x_{t-1}|x_0)}+\log \frac{q(x_1|x_0)}{p_{\theta }(x_0|x_1)}]\\ & =E_q[-\log p_{\theta }(x_T)+\sum _{t=2}^T\log \frac{q(x_t|x_{t-1},x_0)}{p_{\theta }(x_{t-1}|x_t)}+\log \frac{q(x_T|x_0)}{q(x_1|x_0)}+\log \frac{q(x_1|x_0)}{p_{\theta }(x_0|x_1)}]\\ & =E_q[-\log p_{\theta }(x_T)+\sum _{t=2}^T\log \frac{q(x_t|x_{t-1},x_0)}{p_{\theta }(x_{t-1}|x_t)}+\log \frac{q(x_T|x_0)}{p_{\theta }(x_0|x_1))}]\\ & =E_q[\log \frac{q(x_T|x_0)}{p_{\theta }(x_T)}+\sum _{t=2}^T\log \frac{q(x_t|x_{t-1},x_0)}{p_{\theta }(x_{t-1}|x_t)}-\log p_{\theta }(x_0|x_1))]\\ & =E_q[\frac{D_{KL}(q(x_T|x_0)||p_{\theta }(x_T))}{q(x_T|x_0)}+\sum _{t=2}^T\frac{D_{KL}(q(x_{t-1}|x_t,x_0)||p_{\theta }(x_{t-1}|x_t))}{q(x_{t-1}|x_t,x_0)}-\log p_{\theta }(x_0|x_1))]\end{array}$$

因此需要优化的项有三个
L 0 = D K L ( q ( x T ∣ x 0 ) ∣ ∣ p θ ( x T ) ) L 1 = ∑ t = 2 T D K L ( q ( x t − 1 ∣ x t , x 0 ) ∣ ∣ p θ ( x t − 1 ∣ x t ) ) L 2 = log ⁡ p θ ( x 0 ∣ x 1 )

$$\begin{aligned} L_0&=D_{KL}(q(x_T|x_0)||p_\theta(x_T))\\ L_1&=\sum_{t=2}^TD_{KL}(q(x_{t-1}|x_t,x_0)||p_\theta(x_{t-1}|x_t))\\ L_2&=\log{p_\theta(x_0|x_1)} \end{aligned}$$ L0​L1​L2​​=DKL​(q(xT​∣x0​)∣∣pθ​(xT​))=t=2∑T​DKL​(q(xt−1​∣xt​,x0​)∣∣pθ​(xt−1​∣xt​))=logpθ​(x0​∣x1​)​

对于$L_0$项，经过$T$次（$T$一般很大）加噪后，$q(x_T|x_0)$与$p_{\theta }(x_T)$基本等价于标准正态分布，因此$L_0$项取值接近于0。

对于$L_2$，感兴趣的可以浏览原文的3.3章节(具体实现见链接)，最终作者发现优化$L_1$项，模型的效果最佳，因此本章节只对$L_1$进行推导。已知高斯分布$\mathcal{N}(x;{\mu }_1,{\sum }_1)$、$\mathcal{N}(x;{\mu }_2,{\sum }_2)$的KL散度公式为（具体推导可浏览生成模型VAE）：

假设$p_{\theta }(x_{t-1}|x_t)$服从$\mathcal{N}(x;{\mu }_{\theta },{\delta }_{t}I)$，已知$q(x_{t-1}|x_t,x_0)$服从$\mathcal{N}(x;{\mu }_t,{\delta }_{t}I)$（均值和方差的式子见式2.2），则有
L 2 = ∑ t = 2 T D K L ( q ( x t − 1 ∣ x t , x 0 ) ∣ ∣ p θ ( x t − 1 ∣ x t ) ) = ∑ t = 2 T ( 1 2 ( n + 1 δ t 2 ∣ ∣ μ t − μ θ ∣ ∣ 2 − n + l o g 1 ) = ∑ t = 2 T ( 1 2 δ t 2 ∣ ∣ μ t − μ θ ∣ ∣ 2 )

$$\begin{aligned} L_2&=\sum_{t=2}^TD_{KL}(q(x_{t-1}|x_t,x_0)||p_\theta(x_{t-1}|x_t))\\ &=\sum_{t=2}^T(\frac{1}{2}(n+\frac{1}{\delta_t^2}||\mu_t-\mu_\theta||^2-n+log1)\\ &=\sum_{t=2}^T(\frac{1}{2\delta_t^2}||\mu_t-\mu_\theta||^2)\\ \end{aligned}$$ L2​​=t=2∑T​DKL​(q(xt−1​∣xt​,x0​)∣∣pθ​(xt−1​∣xt​))=t=2∑T​(21​(n+δt2​1​∣∣μt​−μθ​∣∣2−n+log1)=t=2∑T​(2δt2​1​∣∣μt​−μθ​∣∣2)​
则${\mu }_{\theta }$需要拟合${\mu }_t$，结合式2.2，${\mu }_{\theta }=\frac{1}{\sqrt{{\alpha }_t}}(x_t-\frac{1-{\alpha }_t}{\sqrt{1-{\bar{\alpha }}_t}}{ϵ}_{\theta }(x_t))$，可得
$$L_2=\sum _{t=2}^T(\frac{(1-{\alpha }_t{)}^2}{2{\delta }_t^2{\alpha }_t(1-{\bar{\alpha }}_t)}||{ϵ}_t-{ϵ}_{\theta }(x_t)|{|}^2)$$

结合式子1.2以及坐标下降法，可得DDPM最终优化目标$L$为
$$L=||{ϵ}_t-{ϵ}_{\theta }(\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}{ϵ}_t)|{|}^2$$

结语

DDPM利用马尔科夫链建模图像生成的过程很巧妙，最终推导得到的式子也十分简单，确实是个很漂亮的工作