Diffusion Model (扩散生成模型)的基本原理详解(一）Denoising Diffusion Probabilistic Models(DDPM)

本章开始笔者来陆续的介绍最近爆火的Diffusion Model的近期发展。
本篇的学习内容与图片均来自于对文章Diffusion Models: A Comprehensive Survey of Methods and Applications的学习。本篇内容仅代表笔者个人学习观点和笔记，本篇内容的欢迎感兴趣的人一起学习和讨论，也欢迎大家对文章中错误进行纠正和批评。
本篇文章适合刚刚接触Diffusion Model的读者进行初步阅览，避免走一些弯路。本篇属于笔者自己的笔记，因此笔者尽量写的通俗易懂。事实上，如果读者已经学习过变分自编码器(VAE)或生成对抗网络(GAN),那么将相对较为容易的理解 Diffusion Model的原理，因为Diffusion Model利用到了它们的一些思想，而有关VAE/GAN的详细原理介绍，读者可参考其他博客或资料进行学习，如不懂VAE/GAN的新手小白，对于阅读本文而言也是也没有关系的。
本篇文章需要掌握的基础预先了解内容是概率论和稍略简单的随机过程，贝叶斯概率统计等内容即可，本篇文章着重为扩散生成的技术分析，目标在于用最简单的想法来尽可能阐述清楚Diffusion-Model的技术需要一些简单数学公式的推导。
本篇在介绍原理的同时也补充了关于DDPM原文的一些内容，虽然公式看起来会比较复杂，笔者建议读者进行自行推导，看似复杂其实并不是很困难。

1、Diffision Model背景介绍

在正式学习一个模型前，我们首先要理解该模型的任务是做什么的，首先它作为一个生成模型，是如何生成样本的：Diffision Model通过对样本进行逐步添加Noise破坏来原有样本数据(数据加噪)，然后到达一定程度后，再一步一步的通过一个辅助Score-function的将数据一步一步反推生成(降噪)，这一过程很像编码器中的Encoder(加噪)和Decoder(降噪)过程，为了方便理解，原文作者还给予了一张图示帮助理解Diffision Model的大致过程(一只狗通过逐步加噪后，根据Score-Function进行逐步降噪，最终生成新的数据)

2、Denoising Diffusion Probabilistic Models(DDPMS)原理介绍

DDPMS的加噪和去噪是通过两个Markov链完成的。其中加噪链用于将原始数据转换为容易处理的Noise数据，这个分布一般会被取为Normal(正态的)，去噪链将采样后的Noise数据转换为新的生成数据。

2.1、DDPM forward Markov Chain(加噪链)——$q(x_t|x_{t-1})$

假设原始数据$x_0$是从某一分布$x_0～q(x_0)$中采样得到，若我们已经拥有了一条DDPM forward Markov Chain $q(x_t|x_{t-1})$。那么显然可以通过该Markov链生成一条采样大小为$T$的采样序列,假设为$(x_0,x_1,x_2,x_3\cdot \cdot \cdot x_T)$。根据Markov链的性质与联合分布概率的性质显然会有该采样的联合分布为
$$q(x_0,x_1,x_2,x_3\cdot \cdot \cdot x_T)=\prod _{i=0}^{T}q(x_t|x_{t-1})$$
而这里的关键点在于，$q(x_t|x_{t-1})$是未知的，即状态转移概率未知，那么在加噪过程中为了让最终加得的噪声能够容易处理，一般我们会选择Normal分布。也即，通常来说这个状态转移概率(加噪链)由人为获取:
$$q(x_t|x_{t-1})=N((\sqrt{1-{\beta }_t})x_{t-1},{\beta }_{t}I)⟺x_t=(\sqrt{1-{\beta }_t})x_{t-1}+\sqrt{{\beta }_t}N(0,1)$$
$\beta \in (0,1)$为超参数，训练前给定。这个过程比较容易理解为：每一步加噪的时候，其中一部分来源于原始数据，另一部分来源于一个正态分布的噪声。
并且它还有另一个好处(重点)，令$a_t=1-{\beta }_t$，有如下结论:
$$q(x_k|x_0)=N((\prod _{i=0}^k\sqrt{a_i})x_0,(1-\prod _{i=0}^k{a}_i)I)$$

原文并没给出该公式的具体推导办法，这里我给出一种非常证明办法，列举如下:
证明：
现在假设$T=2$，很容易可知道如下结果：
$x_0=x_0$
$x_1=(\sqrt{1-{\beta }_1})x_0+\sqrt{{\beta }_1}{z}_0$
$x_2=(\sqrt{1-{\beta }_2})x_1+\sqrt{{\beta }_2}{z}_1=(\sqrt{1-{\beta }_2})((\sqrt{1-{\beta }_1})x_0+\sqrt{{\beta }_1}{z}_0)+\sqrt{{\beta }_2}{z}_1$
$x_2$改写，这即：
$x_2=(\sqrt{1-{\beta }_2})(\sqrt{1-{\beta }_1})x_0+(\sqrt{1-{\beta }_2})\sqrt{{\beta }_1}{z}_0+\sqrt{{\beta }_2}{z}_1$
那么显然我们可以知道$x_2$的分布,这里需要用到两次加的随机正态噪声$z_0,z_1$是独立的，基于正态分布的性质：
$q(x_2|x_0)=N((\sqrt{1-{\beta }_1})(\sqrt{1-{\beta }_2})x_0,({\beta }_1+{\beta }_2-{\beta }_1{\beta }_2)I)$
注意到，该式可重写为
$q(x_2|x_0)=N((\sqrt{1-{\beta }_1})(\sqrt{1-{\beta }_2})x_0,(1-(1-{\beta }_1)(1-{\beta }_2))I)$
根据数学归纳法同理可证，令$a_t=1-{\beta }_t$：会有

$$q(x_k|x_0)=N((\prod _{i=0}^k\sqrt{a_i})x_0,(1-\prod _{i=0}^k{a}_i)I)$$

证毕。

该公式给予了一个好处，我们无须真正的进行一步一步的采样，当在训练前设定好所有的超参数${\beta }_k(k=1\cdot \cdot \cdot T)$根据该公式可直接进行每个步骤$k$的采样，其中步骤$k$时刻的采样数据$x_k$服从如下分布:
$$N((\prod _{i=0}^k\sqrt{a_i})x_0,(1-\prod _{i=0}^k{a}_i)I)$$
注意到，$(\prod _{i=0}^k\sqrt{a_k})$此项随着采样步骤的增多这个值会越来越小，这是因为都是小于1的数进行不断连乘，当加噪步骤足够多，趋向于无穷大时,此时该分布趋向于$N(0,1)$。即当$k\to \infty$,这很容易理解，这也即该采样样本的边缘分布。
$$\underset{k\to \infty }{\lim }(N((\prod _{i=0}^k\sqrt{a_k})x_0,(1-\prod _{i=0}^k{a}_k)I))=N(0,1)$$
$$\underset{k\to \infty }{\lim }q(x_k)=\int q(x_k|x_0)q(x_0)d(x_0)=N(0,1)$$

2.2、DDPM reverse Markov Chain(去噪链)——$p(x_{t-1}|x_t)$

当进行足够多的加噪步骤，设已经加了$T$步噪后，此时根据我们2.1.1的讨论，该噪声已经近似分布为$N(0,1)$。此时需要进行去噪——生成处理，而这一步骤需要用到所谓的去噪链来进行。
即，我们已经拥有了一个先验分布：$x_T～N(0,1)$。即我们已知了最终噪声分布，若我们知道一个去噪链$p(x_{t-1}|x_t)$，那么就可以根据该去噪链“一条一条”的进行去噪处理了。注意到，我们假设$T$足够大时候，有这样的等式存在，这是显然的：
$$p(x_T)=q(x_T)～N(0,1)$$

即我们通过加噪得到了最终的噪声分布，作为降噪前的先验分布，进行降噪处理。
该操作我们使用神经网络来进行，即假设去噪链为一个网络$p_{\theta }(x_{t-1}|x_t)$，网络参数为$\theta$,其中去噪网络满足如下分布
$$x_{t-1}～N({\mu }_{\theta }(x_t,t),{\Sigma }_{\theta }(x_t,t))$$显然的，这需要两个网络${\mu }_{\theta }(x_t,t)$与${\Sigma }_{\theta }(x_t,t)$，它们接受$t步骤$的输入$x_t$与第$t$步骤的位置信息，反馈一个正态分布，而$x_{t-1}$从该分布中进行采样。
下面我用一个非常简单易懂的例子来总结一下DDPM的整体框架：
$$[x_0\to x_1\to x_2\to \cdot \cdot \cdot \to x_{T-1}]\to x_T\to [\widehat{x_{T-1}}\to \cdot \cdot \cdot \to \widehat{x_2}\to \widehat{x_1}\to \widehat{x_0}]$$
其中$x_0,x_1,x_2,x_3,\cdot \cdot \cdot x_{T-1},x_T$通过forward Markov Chain 采样获得(2.1.1),$\widehat{x_0},\widehat{x_1},\widehat{x_2},\widehat{x_3},\cdot \cdot \cdot \widehat{x_{T-1}},\widehat{x_T}$通过reverse Markov Chain采样获得。注意到$\widehat{x_T}=x_T$，这一点我在上面已经做出过解释了。
DDPM的目的是去尽可能还原原来的噪声分布，注意，这里提到的是“分布还原”而不是数据还原，DDPM的目的是去学习一个这样加噪过程的逆过程。因此，目标很显然了，我们想要让$(x_0,x_1,x_2,x_3,\cdot \cdot \cdot x_{T-1},x_T)$与$(\widehat{x_0},\widehat{x_1},\widehat{x_2},\widehat{x_3},\cdot \cdot \cdot \widehat{x_{T-1},\hat{x_T}})$分布尽可能相似：
$$q^{\ast }=q(x_0,x_1,x_2,x_3,\cdot \cdot \cdot x_{T-1},x_T)=q(x_0)\prod _{i=1}^{T}q(x_i|x_{i-1})$$
$$p_{\theta }^{\ast }=p_{\theta }(\widehat{x_0},\widehat{x_1},\widehat{x_2},\widehat{x_3},\cdot \cdot \cdot \widehat{x_{T-1},\hat{x_T}})=p(\widehat{x_T})\prod _{i=1}^T{p}_{\theta }(\widehat{x_{i-1}}|\widehat{x_i})$$
而我们知道，衡量两个分布的相似度是使用相对熵(KL散度）来构建。为了使上述两个联合分布相近，需要最优化它们的KL散度使其达到最小值，这也即网络的Loss Function：
$$Loss=KL([q^{\ast }||p_{\theta }^{\ast }])=\sum q^{\ast }log(\frac{q^{\ast }}{p_{\theta }^{\ast }})=\sum q^{\ast }log(q^{\ast })-\sum q^{\ast }log(p_{\theta }^{\ast })$$
事实上，由于我们是知道$q\ast$的具体表达式的，因为加噪过程是人为给定好的，令$\sum q^{\ast }log(q^{\ast })=K$，我们会有：
$$Loss=-\sum q^{\ast }log(p_{\theta }^{\ast })+K=-E_{q^{\ast }}[log(p_{\theta }^{\ast })]+K$$
这显然是没办法直接进行计算的，需要进行进一步的整理，我们将$p_{\theta }^{\ast }$的具体形式带入进来,并且根据$\sum q^{\ast }log(\sum _{i=1}^{T}q(x_i|x_{i-1}))=K-q^{\ast }q(x_0)=M$。会发现：
$$Loss=-E_{q^{\ast }}[log(p(\widehat{x_T}))+\sum _{i=1}^{T}log\frac{p_{\theta }(\widehat{x_{i-1}}|\widehat{x_i})}{q(x_i|x_{i-1})}]+K+M\ge -E_{q^{\ast }}(p_{\theta }(x_0))$$
(该不等式的证明下面一小部分分析内容不感兴趣的读者可以不看)

原文并未给出下界的证明，但是给予了提示，这里我补充一下。我们都知道，$KL$散度是恒大于零的，证明办法采用了Jenson不等式，这里采用相同的办法。
$(Jenson-inequality)$:$f(x)$为凸(凹)的，${\lambda }_i>0$且${\sum }_{i=1}^N{\lambda }_i=1$。则有
$$f(\sum _{i=1}^N{\lambda }_i{x}_i)\le (\ge )\sum _{i=1}^N{\lambda }_{i}f(x_i)$$
我们利用凹性，因为log函数显然是凹的,使用Jenson不等式：
$$Loss\ge -E_{q^{\ast }}(\sum _{i=1}^{T}log\frac{p_{\theta }(\widehat{x_{i-1}}|\widehat{x_i})}{q(x_i|x_{i-1})})\ge -log(\sum _{k=1}^M\sum _{i=1}^{T}q(x_0^k)\cdot \cdot \cdot q(x_T^k|x_{T-1}^k)\frac{p_{\theta }({\widehat{x_{i-1}}}^k|{\widehat{x_i}}^k)}{q(x_i^k|x_{i-1}^k)})$$
$$-log(\sum _{k=1}^M\sum _{i=1}^{T}q(x_0^k)\cdot \cdot \cdot q(x_T^k|x_{T-1}^k)\frac{p_{\theta }({\widehat{x_{i-1}}}^k|{\widehat{x_i}}^k)}{q(x_i^k|x_{i-1}^k)})\ge -log(\sum _{k=1}^M\sum _{i=1}^T{q}^{\ast (k)}{p}_{\theta }({\widehat{x_{i-1}}}^k|{\widehat{x_i}}^k))$$
再使用一次Jenson不等式：
$$-log(\sum _{k=1}^M\sum _{i=1}^T{q}^{\ast (k)}{p}_{\theta }({\widehat{x_{i-1}}}^k|{\widehat{x_i}}^k))\ge -\sum _{k=1}^M{q}^{\ast (k)}\sum _{i=1}^{T}log(p_{\theta }({\widehat{x_{i-1}}}^k|{\widehat{x_i}}^k))$$
这即得到了原文中给的不等式：
$$Loss\ge -\sum _{k=1}^M{q}^{\ast (k)}\sum _{i=1}^{T}log(p_{\theta }({\widehat{x_{i-1}}}^k|{\widehat{x_i}}^k))=-E_{q^{\ast }}(-log(p_{\theta }(x_0)))$$

2.3、DDPM 的Loss-Function和优化目标

2.3.1、高方差Monte-Carlo模拟直接采样的Loss更新方式

观察到，我们上面已经讨论过了，上面有这个等式的存在
$$Loss=-E_{q^{\ast }}[log(p(\widehat{x_T}))+\sum _{i=1}^{T}log\frac{p_{\theta }(\widehat{x_{i-1}}|\widehat{x_i})}{q(x_i|x_{i-1})}]+K+M$$
其中，$K,M$为常数，也即不与网络参数$\theta$有关的恒常值。那么当然它不影响Loss的优化，那么我们的目标是寻找使得下式最大的参数$\theta$以获得：
$$\theta =argma{x}_{\theta }(E_{q^{\ast }}[log(p(\widehat{x_T}))+\sum _{i=1}^{T}log\frac{p_{\theta }(\widehat{x_{i-1}}|\widehat{x_i})}{q(x_i|x_{i-1})}])$$
$$Loss=-(E_{q^{\ast }}[log(p(\widehat{x_T}))+\sum _{i=1}^{T}log\frac{p_{\theta }(\widehat{x_{i-1}}|\widehat{x_i})}{q(x_i|x_{i-1})}])——(1^{\ast })$$
其中，该过程通过Monte Carlo模拟来进行即：正向采样——反向采样——计算Loss。
Monte Carlo模拟虽然可以估计该Loss大小，虽然能保证是无偏的(一定程度上)，但是它有个巨大的缺陷和致命弱点：它具有极高方差性，这显然对于模型是非常不利的，那么我们要平稳的训练一个模型，需要改写上述的$(1^{\ast })$来获得一个低方差的公式，因此DDPM核心在于2.1.3.2的低方差更新方式。

2.3.2、低方差(先验分布-后验分布)Loss更新方式(重点）

根据$(1^{\ast })$我们已经知道了它具有很强的随机方差性，下面若能解析性的改写$(1^{\ast })$,目的为降低计算和采样方差。
$$Loss=-(E_{q^{\ast }}[log(p(\widehat{x_T}))+\sum _{i=1}^{T}log\frac{p_{\theta }(\widehat{x_{i-1}}|\widehat{x_i})}{q(x_i|x_{i-1})}])——(1^{\ast })$$
首先它可被等价为如下：
$$Loss=-(E_{q^{\ast }}[log(p(\widehat{x_T}))+\sum _{i=2}^{T}log\frac{p_{\theta }(\widehat{x_{i-1}}|\widehat{x_i})}{q(x_i|x_{i-1})}+log(\frac{p_{\theta }(\widehat{x_0}|\widehat{x_1})}{q(x_1|x_0)})])(2^{\ast })$$
根据贝叶斯公式我们将$q(x_i|x_{i-1})$视为后验分布,则会有
$$q(x_i|x_{i-1})=\frac{q(x_{i-1}|x_i,x_0)q(x_i)}{q(x_{i-1})}=\frac{q(x_{i-1}|x_i,x_0)q(x_i|x_0)}{q(x_{i-1}|x_0)}$$
将上述公式带入到$(2^{\ast })$中会得到
$$Loss=-(E_{q^{\ast }}[log(p(\widehat{x_T}))+\sum _{i=2}^{T}log\frac{p_{\theta }(\widehat{x_{i-1}}|\widehat{x_i})}{q(x_{i-1}|x_i,x_0)}\frac{q(x_{i-1}|x_0)}{q(x_i|x_0)}+log(\frac{p_{\theta }(\widehat{x_0}|\widehat{x_1})}{q(x_1|x_0)})])(3^{\ast })$$
观察一下有一项，可以提出来即:
$$\sum _{i=2}^{T}log(\frac{q(x_{i-1}|x_0)}{q(x_i|x_0)})=log(q(x_1|x_0))-log(q(x_T|x_0))$$
$(3^{\ast })$可被改写为如下简单的式子,其中会有$\widehat{x_T}=x_T$,这在上面已经声明过了：
$$Loss=-(E_{q^{\ast }}[log\frac{p(x_T)}{q(x_T|x_0)}+\sum _{i=2}^{T}log\frac{p_{\theta }(\widehat{x_{i-1}}|\widehat{x_i})}{q(x_{i-1}|x_i,x_0)}+log(p_{\theta }(\widehat{x_0}|\widehat{x_1})])(4^{\ast })$$
事实上，结合$KL$散度定义我们知道这即等价于下式:
$$E_{q^{\ast }}[KL[q(x_T|x_0)||p(x_T)]+\sum _{i=2}^{T}KL[q(x_{i-1}|x_i,x_0)||p_{\theta }(\widehat{x_{i-1}}|\widehat{x_i})]-log(p_{\theta }(\widehat{x_0}|\widehat{x_1})]$$
令$KL[q(x_{i-1}|x_i,x_0)||p_{\theta }(\widehat{x_{i-1}}|\widehat{x_i})]=L_{i-1}$
$$Loss=E_{q^{\ast }}[L_T+\sum _{i=2}^T{L}_{i-1}-L_0]=E_{q^{\ast }}[\sum _{i=1}^T{L}_i-L_0](5^{\ast })$$
但是这缺少一个问题，$q(x_{i-1}|x_i,x_0)$的分布我们目前还不知道，如何计算？

下面给予$q(x_{i-1}|x_i,x_0)$分布计算过程：
根据上述已经提到过的贝叶斯公式，已经知道了如下结论
$$q(x_i|x_{i-1})=\frac{q(x_{i-1}|x_i,x_0)q(x_i|x_0)}{q(x_{i-1}|x_0)}\to q(x_{i-1}|x_i,x_0)=\frac{q(x_i|x_{i-1})q(x_{i-1}|x_0)}{q(x_i|x_0)}$$
事实上，这三个分布我们都是知道的，即：
$q(x_i|x_{i-1})～N(\sqrt{a_i}{x}_{i-1},(1-a_i)I)$
$q(x_{i-1}|x_0)～N((\prod _{k=0}^{i-1}\sqrt{a_k})x_0,(1-\prod _{k=0}^{i-1}{a}_k)I)$
$q(x_i|x_0)～N((\prod _{k=0}^i\sqrt{a_k})x_0,(1-\prod _{k=0}^i{a}_k)I)$
根据贝叶斯统计理论知道一个非常重要的结论，先验分布$q(x_i|x_{i-1})$是正态分布,那我们所求的后验分布$q(x_{i-1}|x_i,x_0)$一定也是正态分布:
我们忽略常数项，可知原分布正比于下面的公式即:$q(x_{i-1}|x_i,x_0)\propto$：
$$exp(-\frac{1}{2}[\frac{(x_i-\sqrt{a_i}{x}_{i-1}{)}^2}{1-a_i}+\frac{(x_{i-1}-\sqrt{\prod _{k=0}^{i-1}{a}_k}{x}_0{)}^2}{1-\prod _{k=0}^{i-1}{a}_k}+\frac{(x_i-\sqrt{\prod _{k=0}^i{a}_k}{x}_0{)}^2}{1-\prod _{k=0}^i{a}_k}])(\ast \ast )$$
由于已经知道了后验分布一定为正态分布，那么即可直接获得其中与$x_{i-1}$有关的部分
其他放成常数倍落在后面。
$$exp(-\frac{1}{2}[(\frac{a_i}{1-a_i}+\frac{1}{1-\prod _{k=0}^{i-1}{a}_k})x_{i-1}^2-(\frac{2\sqrt{a_i}}{1-a_i}{x}_i+\frac{2\sqrt{\prod _{k=0}^{i-1}{a}_k}}{1-\prod _{k=0}^{i-1}{a}_k}{x}_0)x_{i-1}])+C$$
最后配方即可获得了后验分布的表达式
$$q(x_{i-1}|x_i,x_0)～N(\mu ,{\sigma }^{2}I)$$
其中：
${\mu }_i=(\frac{\sqrt{a_i}}{1-a_i}{x}_i+\frac{\sqrt{\prod _{k=0}^{i-1}{a}_k}}{1-\prod _{k=0}^{i-1}{a}_k}{x}_0)/(\frac{a_i}{1-a_i}+\frac{1}{1-\prod _{k=0}^{i-1}{a}_k})$
${\sigma }_i^2=1/(\frac{a_i}{1-a_i}+\frac{1}{1-\prod _{k=0}^{i-1}{a}_k})$

这样$(5^{\ast })$中所有变量均有了它们的表达式，并且$KL(\cdot ｜\cdot )$这里计算的都是两个正态分布之间的差异性。

2.4、DDPM算法

DDPM由以下几点重要部分构成：
一、人为设定的加噪链$q$($\beta$足够小让最终噪声分布趋近正态分布)
二、网络设定的去噪链$p_{\theta }$
三、KL低方差损失函数
现在一、二我们已经介绍完了，下面要对三进行具体的更新和采样了。
注意到$L_T=KL[q(x_T|x_0)||p(x_T)]$是给定的,因为显然地，若满足上述三个条件，那么$p(x_T)～N(0,1)$，那么其实训练过程我们没有必要关注$L_T$部分，因为不影响模型参数结果。只需要优化一下的新目标函数：
$$Los{s}^{\ast }=E_{q^{\ast }}[\sum _{i=2}^T{L}_{i-1}-L_0]$$
那么如何确定优化目标？我们的目标是要去模拟加噪链反过来的这条去噪链，如果将加噪链视为一个先验分布，那么我们的目标即要训练一个后验分布，这样就可以反向采样！
而我们已经知道了后验分布满足了
$$q(x_{i-1}|x_i,x_0)～N(\mu ,{\sigma }^{2}I)$$
${\mu }_i=(\frac{\sqrt{a_i}}{1-a_i}{x}_i+\frac{\sqrt{\prod _{k=0}^{i-1}{a}_k}}{1-\prod _{k=0}^{i-1}{a}_k}{x}_0)/(\frac{a_i}{1-a_i}+\frac{1}{1-\prod _{k=0}^{i-1}{a}_k})$
${\sigma }_i^2=1/(\frac{a_i}{1-a_i}+\frac{1}{1-\prod _{k=0}^{i-1}{a}_k})$
如果我能用一个网络$p_{\theta }({\mu }_{\theta }(x_i,i),{\Sigma }_{\theta }(x_i,i))$预测即可，注意到我们要去预测的分布里面$\sigma$是没有有关$x_i$的参数的，是一个常数因此该网络参数可被重写为$p_{\theta }({\mu }_{\theta }(x_i,i),{\sigma }_i^{2}I)$。只需要对${\mu }_{\theta }(x_i,i)$进行预估即可。
通过上述讨论，我们将$L_{t-1}$写出来看
$$L_{t-1}=KL[q(x_t|x_{t+1},x_0)||p_{\theta }(\widehat{x_t}|\widehat{x_{t+1}})]=KL[N({\mu }_t,{\sigma }_i^{2}I)||N({\mu }_{\theta },{\sigma }_i^{2}I)]$$
进行简要的推导可知道：
$$KL[N({\mu }_t,{\sigma }_i^{2}I)||N({\mu }_{\theta },{\sigma }_i^{2}I)]={\int }_x\frac{1}{\sqrt{2\pi }{\sigma }_i}{e}^{\frac{(x-{\mu }_t{)}^2}{2{\sigma }_i^2}}(-\frac{1}{2{\sigma }_i^2}[(x-{\mu }_{\theta }{)}^2-(x-{\mu }_t{)}^2])dx$$
其中
$${\int }_x\frac{1}{\sqrt{2\pi }{\sigma }_i}{e}^{\frac{(x-{\mu }_t{)}^2}{2{\sigma }_i^2}}(\frac{1}{2{\sigma }_i^2}[(x-{\mu }_t{)}^2])dx=\frac{1}{2{\sigma }_i^2}E([x-E(x){]}^2)=\frac{1}{2{\sigma }_i^2}D(x)=\frac{1}{2}$$
$${\int }_x\frac{1}{\sqrt{2\pi }{\sigma }_i}{e}^{\frac{(x-{\mu }_t{)}^2}{2{\sigma }_i^2}}(-\frac{1}{2{\sigma }_i^2}[(x-{\mu }_{\theta }{)}^2])dx=\frac{{\sigma }_i^2+||{\mu }_{\theta }-{\mu }_t|{|}^2}{2{\sigma }_i^2}$$
因此：$$KL[N({\mu }_t,{\sigma }_i^{2}I)||N({\mu }_{\theta },{\sigma }_i^{2}I)]=\frac{{\sigma }_i^2+||{\mu }_{\theta }-{\mu }_t|{|}^2}{2{\sigma }_i^2}-\frac{1}{2}$$
我们的$E_{q\ast }[L_{t-1}]$优化目标即为如下所示
$$E_{q\ast }[L_{t-1}]=(E_{q\ast }[\frac{||{\mu }_t(x_t,x_0)-{\mu }_{\theta }(x_t,t)|{|}^2}{2{\sigma }_i^2}])+C$$
而我们知道，事实上$x_t$是通过采样生成的，也即$x_t=\prod _{i=0}^t\sqrt{a_i}{x}_0+\sqrt{(1-\prod _{i=0}^t{a}_i)}z$,那么会有其中$x_0=(x_t-\sqrt{(1-\prod _{i=0}^t{a}_i)}z)/\prod _{i=0}^t\sqrt{a_i}$.
将它带入${\mu }_t$中进行整理，那么事实上会得到：
$${\mu }_t(x_t,x_0)=\frac{1}{\sqrt{a_t}}(x_t-\frac{1-a_t}{\sqrt{(1-\prod _{i=0}^k{a}_i)}}z)$$
$$E_{q\ast }[L_{t-1}]-C=E_{x_0,z}[\frac{1}{2{\sigma }_i^2}||\frac{1}{\sqrt{a_t}}(x_t-\frac{1-a_t}{\sqrt{(1-\prod _{i=0}^k{a}_i)}}z)-{\mu }_{\theta }(x_t,t)|{|}^2]$$
注意到，此时输入给网络的$x_t$是作为输入进去的，随机部分出在$z$身上，如果我们令:
$${\mu }_{\theta }(x_t,t)=\frac{1}{\sqrt{a_t}}(x_t-\frac{1-a_t}{\sqrt{(1-\prod _{i=0}^k{a}_i)}}{z}_{\theta }(x_t,t))$$
那么首先:$E_{q\ast }[L_{t-1}]-C=$
$$E_{x_0,z}[\frac{1}{2{\sigma }_i^2}||\frac{1}{\sqrt{a_t}}(x_t-\frac{1-a_t}{\sqrt{(1-\prod _{i=0}^k{a}_i)}}z)-\frac{1}{\sqrt{a_t}}(x_t-\frac{1-a_t}{\sqrt{(1-\prod _{i=0}^k{a}_i)}}{z}_{\theta })|{|}^2]$$
$$E_{q\ast }[L_{t-1}]-C=E_{x_0,z}[\frac{1}{2{\sigma }_i^2}\frac{(1-a_t{)}^2}{a_t(1-\prod _{i=0}^k{a}_i)}||z-z_{\theta }(x_t,t)|{|}^2]$$
那么其实最终的优化目的就是要去模拟一个正态分布！若我们以随机更新某个$L_t$作为目标优化，一大串部分都是与参数无关的变量。那么最终的目标$Loss$为
$$Loss=E_t(E_{q\ast }[L_t])=E_{x_0,z,t}[||z-z_{\theta }(x_t,t)|{|}^2]$$
如果训练好了一个$z_{\theta }(x_t,t)$，那么我们如何从$x_t采样x_{t-1}$呢？使用如下公式:
$$x_{t-1}={\sigma }_t^{2}I+{\mu }_{\theta }(x_t,t)={\sigma }_t^{2}I+\frac{1}{\sqrt{a_t}}(x_t-\frac{1-a_t}{\sqrt{(1-\prod _{i=0}^k{a}_i)}}{z}_{\theta }(x_t,t))$$

以上我们便介绍完了所有的DDPM算法内容，作为总结，我是用DDPM原文的算法作为整合，它所表述的和笔者之前所描述的完全一致。

下一节开始进行介绍基于分数和微分方程法的Diffusion-Model，欢迎各位支持。