总结VAE_vae低维空间p(z)的分布

参考链接：

1. https://blog.csdn.net/weixin_40955254/article/details/101037614
2. https://blog.csdn.net/weixin_40955254/article/details/82315909
3. https://www.bilibili.com/video/BV13x411v7US?p=29（李宏毅老师机器学习2017，图多处于其PPT）

概述

VAE（Variational Auto-Encoders，变分自编码器）属于一种生成式模型，希望可以将一个低维向量映射到一个高维的真实数据，常将其与GAN对比以突出后者。VAE属于Auto-Encoder的变体，通过对code引入噪声，使其具备一定的生成能力。

直观理解

图左展示的是Auto-Encoder（AE），可以看出AE只会把输入编码到低维空间的一个点，然后通过这个点解码出原输入。如输入一张满月图和一张弦月图，AE就会先将它们编码到一个点，然后解码为原图。但对于低维空间中其他点，如图中问号所指的地方，直觉上希望这个点解码出介于满月和弦月之间的图片，但却得不到。换句话说，图像所对应的低维空间的点没有连续性。

图右所示的VAE则通过引入噪声，缓解了这个问题。对于一个输入，VAE不再只将其编码为低维空间中的一个点，而是一块区域，它让解码器从这一块区域都能解码出输入。当VAE将不同输入都编码为一块区域后，低维空间会出现不同区域的交集，如图右中的两条绿色的区域会产生一个交集，解码器希望从中既解码出满月，也解码出弦月，于是会产生一张介于满月和弦月之间的图片。

更形式化地，如上图所示，VAE的编码器会输出一个原始的code$\left[m_1,m_2,m_3\right]$（这里作为一个均值）和一个方差$\left[{\sigma }_1,{\sigma }_2,{\sigma }_3\right]$，方差$\left[{\sigma }_1,{\sigma }_2,{\sigma }_3\right]$经过$exp\left(\cdot \right)$后乘上服从标准正态分布的$\left[e_1,e_2,e_3\right]$，变成服从$N\left(0,e^{2\sigma }\right)$的噪声后，再加上原始code成为服从$N\left(m,e^{2\sigma }\right)$的带噪声的code$\left[c_1,c_2,c_3\right]$，其中$c_i=e^{{\sigma }_i}\times e_i+m_i$。解码器部分则从这些code中还原出原图，对应于第一张图中从绿色部分还原出月亮图。

注：

1. $\sigma$经过$exp\left(\cdot \right)$是为了保证方差为正。
2. $c_i=e^{{\sigma }_i}\times e_i+m_i$使用了重参技巧（reparametrization trick）。即通过引入一个高斯分布e，将c变成一个确定的值，从而使得反向传播可以得以计算。
3. ${\sum }_{i=1}^3\left(exp\left({\sigma }_i\right)-\left(1+{\sigma }_i\right)+{\left(m_i\right)}^2\right)$中$exp\left({\sigma }_i\right)-\left(1+{\sigma }_i\right)$是为了保证方差$e^{2\sigma }$最小为1，否则收敛后方差会变成0，那么就不会引入噪声，又变成了AE；${\left(m_i\right)}^2$可以理解为L2正则项。所以${\sum }_{i=1}^3\left(exp\left({\sigma }_i\right)-\left(1+{\sigma }_i\right)+{\left(m_i\right)}^2\right)$使带噪声的code接近一个标准正态分布。

理论分析

VAE希望有生成的能力，即从低维的服从高斯分布$P\left(z\right)$中采样一个点来生成服从高维的真实数据分布$P\left(x\right)$的一个点。$P\left(x\right)$可以表示为：

$P\left(x\right)={\int }_z^{}P\left(z\right)P\left(x|z\right)$

其中，$P\left(z\right)=N\left(0,I\right)$，$P\left(x|z\right)=N\left(\mu \left(z\right),\sigma \left(z\right)\right)$。

$\mu \left(z\right)$和$\sigma \left(z\right)$视为$z$的函数，为需要学习的部分。这部分（即$P\left(x|z\right)$）实际为VAE的解码器，通过一个神经网络实现：

而VAE也假设每个真实样本都对应一个相应的高斯分布，即$P\left(z|x\right)=N\left({\mu }^{\prime }\left(x\right),{\sigma }^{\prime }\left(x\right)\right)$。为此，VAE使用另一个分布$q\left(z|x\right)$来逼近$P\left(z|x\right)$，对应于VAE中的编码器部分：

VAE的目标函数为最大似然函数：

$L={\sum }_x^{}logP\left(x\right)$

为了引入$q\left(z|x\right)$，对上式做了一些变形：

$$\begin{gathered} logP\left(x\right)={\int }_z^{}q\left(z|x\right)logP\left(x\right)dz \\ ={\int }_z^{}q\left(z|x\right)log\left(\frac{P\left(z,x\right)}{P\left(z|x\right)}\right)dz \\ ={\int }_z^{}q\left(z|x\right)log\left(\frac{P\left(z,x\right)}{q\left(z|x\right)}\frac{q\left(z|x\right)}{P\left(z|x\right)}\right)dz \\ ={\int }_z^{}q\left(z|x\right)log\left(\frac{P\left(z,x\right)}{q\left(z|x\right)}\right)dz+{\int }_z^{}q\left(z|x\right)log\left(\frac{q\left(z|x\right)}{P\left(z|x\right)}\right)dz \end{gathered}$$

上式右边第二项为$q\left(z|x\right)$与$P\left(z|x\right)$的KL散度，即$KL\left(q\left(z|x\right)||P\left(z|x\right)\right)⩾0$。

所以有：

$logP\left(x\right)⩾{\int }_z^{}q\left(z|x\right)log\left(\frac{P\left(z,x\right)}{q\left(z|x\right)}\right)dz={\int }_z^{}q\left(z|x\right)log\left(\frac{P\left(x|z\right)P\left(z\right)}{q\left(z|x\right)}\right)dz$

上式称为$logP\left(x\right)$的下界$L_b$。

于是，在保证$KL\left(q\left(z|x\right)||P\left(z|x\right)\right)$很小的时候（即前面说的希望$q\left(z|x\right)$逼近$P\left(z|x\right)$），我们可以找到$P\left(x|z\right)$和$q\left(z|x\right)$最大化下界，达到最大化$logP\left(x\right)$的目的。

$L_b={\int }_z^{}q\left(z|x\right)log\left(\frac{P\left(z\right)}{q\left(z|x\right)}\right)dz+{\int }_z^{}q\left(z|x\right)logP\left(x|z\right)dz$

等号右边第一项为$-KL\left(q\left(z|x\right)||P\left(z\right)\right)$，最大化该项意为让$q\left(z|x\right)$逼近一个标准正态分布，等价于上面的${\sum }_{i=1}^d\left(exp\left({\sigma }_i\right)-\left(1+{\sigma }_i\right)+{\left(m_i\right)}^2\right)$

等号右边第二项为$E_{q\left(z|x\right)}\left[logP\left(x|z\right)\right]$，最大化该项意为最大化$q\left(z|x\right)$下，$logP\left(x|z\right)$的期望，相当于AE的损失。

前沿应用

VAE在2016年被用在VGAE（《Variational Graph Auto-Encoders》）。VGAE用于完成图重构任务，这里的图指由边和点构成的图（graph），而非图片（picture）。

VGAE的编码器依然输出均值和方差，只是它们都由图卷积网络（GCN）产生：

$\mu =GC{N}_{\mu }\left(X,A\right)$

$log\sigma =GC{N}_{\sigma }\left(X,A\right)$

其中，$X$为节点的特征矩阵，$A$为邻接矩阵。
而解码器利用隐变量的内积来重构邻接矩阵：

$p\left(A|Z\right)={\prod }_{i=1}^N{\prod }_{j=1}^{N}p\left(A_{ij}|z_i,z_j\right)$

损失函数也包含两部分：

$L=E_{q\left(Z|X,A\right)}\left[logp\left(A|Z\right)\right]-KL\left[q\left(Z|X,A\right)||p\left(Z\right)\right]$