【科研基础】VAE: Auto-encoding Variational Bayes

[1]Kingma, Diederik P., and Max Welling. “Auto-encoding variational bayes.” arXiv preprint arXiv:1312.6114 (2013).

[2] [论文简析]VAE: Auto-encoding Variational Bayes[1312.6114]

[3] The Reparameterization Trick

[4] 变分法的基本原理是什么？
[5] 变分自编码器（一）：原来是这么一回事
[6].VAE 复现 https://github.com/wiseodd/generative-models

1-什么是VAE

1.1-目标

$\mathbf{x}$：为$\mathbf{z}$的采样，生成自条件分布$p_{{\theta }^{\ast }}(\mathbf{x}|\mathbf{z})$（${\theta }^{\ast }$表示ground truth而$\theta$表示解码器参数），；
$\mathbf{z}$：$\mathbf{x}$更本质的描述（不可直接观测），来自先验分布$p_{{\mathbf{\theta }}^{\ast }}(\mathbf{z})$；

目标是是根据$\mathbf{x}$能够得到$\mathbf{z}$:

1.2-Intractability:

• $\begin{array}{rcl}{p}_{\mathbf{\theta }}(\mathbf{x})& =& \int p_{\mathbf{\theta }}(\mathbf{z})p_{\mathbf{\theta }}(\mathbf{x}|\mathbf{z})d\mathbf{z}\end{array}$，因为在实际情况下，潜在变量$\mathbf{z}$的维度可能很高，或者先验分布$p_{{\mathbf{\theta }}^{\ast }}(\mathbf{z})$和条件分布$p_{{\theta }^{\ast }}(\mathbf{x}|\mathbf{z})$可能是复杂的非线性函数。因此，直接计算这个积分是不可行的。

VAE采用了一种变分推断的方法来近似计算这个积分。具体来说，VAE使用了变分下界（ELBO），通过优化ELBO来近似计算这个积分。这种方法将原本的推断问题转化为一个优化问题，并且通过优化方法（如随机梯度下降）来求解。尽管使用ELBO进行近似推断使得VAE的训练变得可行，但这仍然是一个近似方法，其精度取决于所选的变分分布族和优化算法的选择。

• $p_{\mathbf{\theta }}(\mathbf{z}|\mathbf{x})=p_{\mathbf{\theta }}(\mathbf{x}|\mathbf{z})p_{\mathbf{\theta }}(\mathbf{z})/p_{\mathbf{\theta }}(\mathbf{x})$中的$p_{\mathbf{\theta }}(\mathbf{x})$未知 （贝叶斯公式，在观察到数据后，对事件发生概率进行推断的过程，通过计算后验概率，根据观察到的数据进行推断，并更新对事件发生概率的认识）。

$p(\theta |x)=p(\theta )p(x|\theta )/p(x)$
什么是后验概率？有了新的观测数据x后，对先验$\theta$的更新，当先验$p(\theta )$与后验$p(\theta |x)$的分布一致，此先验为共轭先验。

1.3-Approximation use NN:

$p_{\theta }(\mathbf{z}|\mathbf{x})\cong q_{\varphi }(\mathbf{z}|\mathbf{x})$，用KL散度评估两个分布的相似程度：
$$\begin{array}{rl}{D}_{KL}(q_{\varphi }(z|x)||p_{\theta }(z|x))& =-\sum _{\mathbf{z}}{q}_{\varphi }(z|x)\log \left(\frac{p_{\theta }(z|x)}{q_{\varphi }(z|x)}\right)\\ & =-\sum _{\mathbf{z}}{q}_{\varphi }(z|x)\log \left(\frac{\frac{p_{\theta }(\mathbf{x},\mathbf{z})}{p_{\theta }(\mathbf{x})}}{q_{\varphi }(z|x)}\right)\\ & =-\sum _z{q}_{\varphi }(z|x)\left[\log \left(\frac{p_{\theta }(\mathbf{x},\mathbf{z})}{q_{\varphi }(z|x)}\right)-\log (p_{\theta }(\mathbf{x}))\right]\end{array}$$
$\log (p_{\theta }(\mathbf{x}))$与$\mathbf{z}$无关是常数，所以和$q_{\varphi }(z|x)$相乘可以提到求和符号外面，而$q_{\varphi }(z|x)$对$\mathbf{z}$求和结果为1，等号左右换项：
$$\begin{array}{r}\begin{array}{rl}\log (p_{\theta }(x))& =KL(q_{\varphi }(z|x)||p_{\theta }(z|x))+\sum _z{q}_{\varphi }(z|x)\log \left(\frac{p_{\theta }(x,z)}{q_{\varphi }(z|x)}\right)\\ & =D_{KL}(q_{\varphi }(z|x)||p_{\theta }(z|x))+L(\theta ,\varphi ;x)\end{array}\end{array}$$
左边是常数，KL散度非负，所以最大化$L(\theta ,\varphi ;x)$（称之为Variational lower bound）就可以实现$D_{KL}(q_{\varphi }(z|x)||p_{\theta }(z|x))$最小化;\

1.4-最大化$L(\theta ,\varphi ;x)$:

$$\begin{array}{rl}L(\theta ,\varphi ;x)& =\sum _z{q}_{\varphi }(z|x)\log \left(\frac{p_{\theta }(x,z)}{q_{\varphi }(z|x)}\right)\\ & =\sum _z{q}_{\varphi }(z|x)\log \left(\frac{p_{\theta }(x|z)p_{\theta }(z)}{q_{\varphi }(z|x)}\right)\\ & =\sum _z{q}_{\varphi }(z|x)\left[\log (p_{\theta }(x|z))+\log \left(\frac{p_{\theta }(z)}{q_{\varphi }(z|x)}\right)\right]\\ & =E_{q_{\varphi }(z|x)}[\log (p_{\theta }(x|z))]-D_{KL}(q_{\varphi }(z|x)||p_{\theta }(z))\end{array}$$
所以下面的目标是估计$E_{q_{\varphi }(z|x)}[\log (p_{\theta }(x|z))]$（Reconstruction Loss，从z生成的x和输入的x尽可能接近，这一样才会变大）和$D_{KL}(q_{\varphi }(z|x)||p_{\theta }(z))$（Regularization Loss，希望得到的潜在表示的分布$q_{\varphi }(z|x)$和先验的分布 p θ ( z ) p_\theta(z)