[论文阅读]Adversarial Autoencoders（aae）和代码

In this paper, we propose the “adversarial autoencoder” (AAE), which is a probabilistic autoencoder that uses the recently proposed generative adversarial networks (GAN) to perform variational inference by matching the aggregated posterior of the hidden code vector of the autoencoder with an arbitrary prior distribution. Matching the aggregated posterior to the prior ensures that generating from any part of prior space results in meaningful samples. As a result, the decoder of the adversarial autoencoder learns a deep generative model that maps the imposed prior to the data distribution. We show how the adversarial autoencoder can be used in applications such as semi-supervised classification, disentangling style and content of images, unsupervised clustering, dimensionality reduction and data visualization. We performed experiments on MNIST, Street View House Numbers and Toronto Face datasets and show that adversarial autoencoders achieve competitive results in generative modeling and semi-supervised classification tasks.

本文提出的"对抗式自动编码器"（AAE）是一种概率自动编码器，它使用最近提出的生成对抗网络（GAN），通过将自动编码器隐藏代码向量的聚集后验与任意先验分布相匹配来执行变异推理。将聚合后验与先验相匹配可确保从先验空间的任何部分生成有意义的样本。因此，对抗式自动编码器的解码器会学习一个深度生成模型，将强加的先验映射到数据分布上。我们展示了对抗式自动编码器如何应用于半监督分类、图像风格和内容分离、无监督聚类、降维和数据可视化等领域。我们在 MNIST、 Street View House Numbers datasets和Toronto Face datasets数据集上进行了实验，结果表明对抗式自动编码器在生成建模和半监督分类任务中取得了有竞争力的结果。

结构图

$$q(\mathbf{z})={\int }_{\mathbf{x}}q(\mathbf{z}|\mathbf{x})p_d(\mathbf{x})d\mathbf{x}$$

$q(z\mid x)$：编码分布;$p(x\mid z):$解码分布；$p_d(\mathbf{x})d\mathbf{x}$ 数据分布;
p(x)数据模型分布;$q(z):z$的聚合后验分布;p(z):想要在z上加的先验分布

VAE

minimizes the following upper-bound on the negative log-likelihood of x:

图 2：对抗式自编码器与变异式自编码器在 MNIST 上的比较。
对抗式自动编码器拟合 (A) 二维高斯和 (B) 10 个二维高斯的混合物时，保留图像的隐藏代码 z。每种颜色代表相关标签。
采用 © 二维高斯和 (D) 10 个二维高斯混合物的变异自动编码器也是如此。
(E) 在二维高斯对抗式自动编码器中，沿着每个隐藏代码维度 z 对高斯百分位数进行均匀采样后生成的图像。

在对抗性正则化中纳入标签信息

GAN模型的一个问题就是无法很好的利用数据标签信息，这里，AAE对此提供了一个很不错的解决办法
这里的数据都是标记过的，可以将标签信息插入到对抗训练过程中，a来更好的塑造隐藏层的分布

利用标签信息更好地规范化隐藏编码。上面：训练编码空间以匹配 10 个二维高斯混合物：
(A) 保留图像的编码空间 z。(B) 前 3 个混合物成分的流形：每个面板都包括沿相应混合物成分的轴线均匀采样高斯百分位数生成的图像。
下面：相同，但为瑞士卷分布（见正文）。请注意，标签是按数字顺序映射的（即瑞士卷的前 10%分配给数字 0，以此类推）：
© 保留图像的编码空间 z。(D) 沿 swiss 卷主轴行走产生的样本。

对抗性自动编码器的似然分析