Glow: Generative Flow with Invertible 1×1 Convolutions翻译_glow: generative flow with invertible 1脳1 convolut

摘要

基于Flow的生成模型之所以具有较大吸引力，是由于其能够精确计算对数似然，能很容易进行潜在变量的推理，并且在训练和合成时能够并行进行。在本文中，我们提出了Glow，这是一种使用可逆1×1卷积的Flow。通过使用我们的方法，我们在标准benchmark上展示了对数似然的显着改进。也许最引人注目的是，我们证明针对对数似然目标直接优化的生成模型能够有效地实现非常逼真的合成效果，以及对大图像的操纵。我们模型的代码可在https://github.com/openai/glow上获得。

1.介绍

　　机器学习领域的两个主要未解决的问题是（1）数据利用率：即如人类一样从少数样本中学习的能力；（2）泛化性：对任务或其上下文改变的鲁棒性。例如，AI系统通常在当给定的输入与训练数据分布不一致时表现的不好。生成式模型这一机器学习的主要分支，是通过以下方式克服这些限制：（1）学习真实环境的模型，在允许agent在与环境实际交互之前，先建模真实模型，（2）学习输入的有意义特征，同时只需要具有很少标签或无监督数据。由于这些特征可以从大型未标注的数据集中学习，并且不一定是特定于任务的，因此基于这些特征的下游任务可能是可能更鲁棒，且数据利用率更高的。在本文中，除了实际应用以外，我们还致力于提高生成式模型性能。
　　生成式建模通常涉及极具挑战性的任务，可以在高维输入数据内建模所有依赖性，通常以完整的联合概率分布的形式定义。由于这种联合模型可能捕获数据中存在的所有模式，因此精确的生成式模型的应用场景非常广泛，即语音合成，文本分析，半监督学习和模型控制等多样化场景; 参见第4节。
　　近年来，生成式建模的性能在近年来取得了巨大进步，主要是基于似然的方法和生成对抗网络（GANS）（参见第4节）。 基于似然的方法可分为三类：

1. Autoregressive models。该模型具有应用简单的优点，但同样具有缺点，即合成的并行能力收到限制，因为合成的计算长度与数据的维度成比例，这对于大型图像或视频来说特别麻烦。
2. Variational autoencoders (VAEs)。其优化了数据对数似然的下界。变分自编码器具有训练和合成能并行化的优点，但相对难以优化。
3. Flow-based generative models。首先在NICE中进行了描述，并在RealNVP中进行了扩展。在以下部分中，我们将描述这类模型背后的关键想法。

与GANS和VAE相比，基于Flow的生成式模型在研究界中很少受到关注。基于Flow的生成式模型具有以下一些优点：

• 能够同时精确地进行潜在变量推理和对数似然估计。在VAE中，仅推能够大概估计与数据点对应的潜变变量的值。GAN没有编码器来估计潜在变量。在可逆的生成模型中，潜在变量完全不需要近似。这不仅导致能准确推力，还可以精确优化数据的对数似然，而不是其下界。
• 能够高效推理和合成。自回归模型，例如PixelCNN，也是可逆的，然而，这种模型的合成难以并行化，并且通常在并行硬件上效率低下。 像Glow（和REALNVP）这样的基于Flow的生成模型是高效的，可以并行推理和合成。
• 针对下游任务的有用的潜在空间。 自回归模型的隐藏层具有未知的边缘分布，使得对数据执行有效控制更加困难。在GAN中，数据点通常不能直接在潜在的空间中表示，因为它们没有编码器，并且可能无法完全建模数据分布。可逆的生成模型和VAE不是这种情况，它允许进行各种应用，例如其允许在现有数据点和其修改之间进行差值。
• 能够显着节省内存。如RevNet论文中所述，可逆神经网络中的计算梯度需要固定的内存而不是随深度线性增加的内存。

2.Background: Flow-based Generative Models

令$\text{x}$为具有未知真实分布$\text{x}〜p^{\ast }(\text{x})$的高维随机向量。我们收集一个独立同分布的数据集$\mathcal{D}$，并选择具有参数$\text{θ}$的模型$p_{\text{θ}}(\text{x})$。在数据$\text{x}$为离散的情况下，对数似然目标的优化相当于最小化下式：
$$\mathcal{L}(\mathcal{D})=\frac{1}{N}\sum _{i=1}^N-log{p}_{\text{θ}}({\text{x}}^i)\text{\hspace{1em}(1)}$$
　　在数据$\text{x}$为连续的情况下，我们则优化下式：
$$\mathcal{L}(\mathcal{D})\simeq \frac{1}{N}\sum _{i=1}^N-log{p}_{\text{θ}}({\tilde{\text{x}}}^i)+c\text{\hspace{1em}(2)}$$
其中${\tilde{\text{x}}}^{(i)}={\text{x}}^{(i)}+u,u〜\mathcal{U}(0,a)$，并且$c=-M\cdot loga$，其中$a$由数据的离散化级别确定，$M$是$\text{x}$的维度。等式1和等式2这两个目标都是测量纳特或比特中的预期压缩成本。 优化过程通过对mini-batch数据采用随机梯度下降来完成。
　　在大多数基于flow的生成模型中，生成过程被定义为：
$$\text{z}\sim p_{\text{θ}}(\text{z})\text{\hspace{1em}(3)}$$
$$\text{x}=g_{\text{θ}}(\text{z})\text{\hspace{1em}(4)}$$
其中$\text{z}$是潜在变量，并且$p_{\text{θ}}(\text{z})$具有（通常是简单的）易计算的密度，例如各向同性的多元高斯分布：$p_{\text{θ}}(\text{z})=\mathcal{N}(\text{z};0,\text{I})$。 函数$g_{\text{θ}}(..)$是可逆的，也称为双映射函数，使得给定数据点$\text{x}$，潜在变量推断由$\text{z}=f_{\text{θ}}(\text{x})=g_{\text{θ}}^{-1}(\text{x})$完成。为了简洁起见，我们将省略下标$\text{θ}$。
　　我们专注于函数$f$（以及函数$g$），其由一系列变换组成：$f=f_1◦f_2◦\cdot \cdot \cdot ◦f_K$，使得$\text{x}$和$\text{z}$之间的关系可以写为：
$$\text{x}\stackrel{f_1}{⟷}{\text{h}}_1\stackrel{f_2}{⟷}{\text{h}}_2\cdots \stackrel{f_K}{⟷}\text{z}\text{\hspace{1em}(5)}$$
　　这种可逆变换序列也称为normalizing flow。基于等式4的变量变换，给定数据点$\text{x}$的模型的概率密度函数（PDF）可以写为：
$$log{p}_{\text{θ}}(\text{x})=log{p}_{\text{θ}}(\text{z})+log|det(d\text{z}/d\text{x})|\text{\hspace{1em}(6)}$$
$$=log{p}_{\text{θ}}(\text{z})+\sum _{i=1}^{K}log|det(d{\text{h}}_i/d{\text{h}}_{i-1})|\text{\hspace{1em}(7)}$$
为了方便，我们定义${\text{h}}_0\stackrel{△}{=}\text{x},{\text{h}}_K\stackrel{△}{=}\text{z}$。 标量值$log|det(d{\text{h}}_i/d{\text{h}}_{i-1})|$是雅可比矩阵$(d{\text{h}}_i/d{\text{h}}_{i-1})$的行列式绝对值的对数，也称为log-determinant。基于变换函数$f_i$，对数密度的值将从${\text{h}}_{i-1}$变为${\text{h}}_i$。虽然它可能看起来感觉计算成本非常高，但它的值能够被化简到去计算某个特定变换。基本思想是选择雅各比矩阵$(d{\text{h}}_i/d{\text{h}}_{i-1})$是三角矩阵的变换。对于这些变换，log-determinant的计算会很简单：
$$log|det(d{\text{h}}_i/d{\text{h}}_{i-1})|=sum(log|diag(d{\text{h}}_i/d{\text{h}}_{i-1})|)\text{\hspace{1em}(8)}$$

3.Proposed Generative Flow

　　基于NICE的和RealNVP flow，我们提出了一种新的flow。它由一系列flow操作步骤组成，并结合了多尺度架构，如图2所示。flow的每个步骤均由actnorm（第3.1节）组成，然后是可逆的1×1卷积（第3.2节），然后是耦合层（第3.3节）。
　　该flow与多尺度架构结合在一起，由于篇幅限制，可以参考(Dinh et al., 2016) 了解更多细节。该结构中flow的深度为$K$，并总共有$L$个尺度（图2）。

3.1 Actnorm: scale and bias layer with data dependent initialization

在 Dinh et al. (2016)中，作者提出了使用batch normalization来减轻训练深层模型时遇到的问题。但是，由于通过batch normalization添加的激活噪声与每个GPU或其他处理单元（PU）的mini-batch的大小成反比，因此当使用小的mini-batch时性能会降低。对于大图像，由于内存限制，我们仅能设置mini-batch为1进行训练。我们提出了一个actnorm层（作为activation normalizaton），该层对每个通道使用缩放和偏差参数进行仿射转换，这类似于batch normalization。这些参数由给定的初始mini-batch数据初始化，以使得每个激活后的通道均值为零，并且方差为1。这是data dependent initialization的一种形式。初始化后，缩放和偏差被视为独立于数据的常规可训练参数。

3.2 Invertible 1 × 1 convolution

(Dinh et al., 2014, 2016) 提出的flow包含会颠倒通道顺序的恒等变换。我们提出用一个可学习的可逆的1×1卷积替换这种固定的变换，其中权重矩阵被初始化为随机旋转矩阵。注意，具有相同输入和输出通道数量的1×1卷积是组合操作的泛化。
　具有$c\times c$权重矩阵$\text{W}$的可逆1×1卷积，对维度为$h\times w\times c$的张量$\text{H}$的雅可比对数行列式是很简单的，可以直接计算如下：
$$log|det(\frac{dconv2D(\text{h};\text{W})}{d\text{h}})|=h\cdot w\cdot log|det(\text{W})|\text{\hspace{1em}(9)}$$
　　$det(\text{W})$的计算或微分成本是$\mathcal{O}(c^3)$，其通常与$Conv2D(\text{h};\text{W})$的计算成本（$\mathcal{O}(h\cdot w\cdot c^2)$）相当。我们将权重$\text{W}$初始化为一个随机旋转矩阵，其对数行列式为0，在一个SGD步骤之后，这些值从0开始改变。
　　LU Decomposition。通过使用LU分解法直接对$\text{W}$进行参数化，可以将$det(\text{W})$的计算成本从$\mathcal{O}(c^3)$降低到$\mathcal{O}(c)$：
$$\text{W}=\text{P}\text{L}(\text{U}+diag(s))\text{\hspace{1em}(10)}$$
其中$\text{P}$是个一个置换矩阵，$\text{L}$是一个对角线值为1的下三角矩阵，$\text{U}$是一个对角线值为0的上三角矩阵，$s$是一个向量。然后，对数行列式可以简化为：
$$log|det(\text{W})|=sum(log|s|)\text{\hspace{1em}(11)}$$
　　当$c$非常大时，计算成本的差异会非常显著，尽管对于我们实验中使用的网络，我们没有测量到执行计算时间上的巨大差异。
　　在该参数化中，我们首先使用随机旋转矩阵来初始化$\text{W}$的参数，然后计算$\text{P}$（其保持固定）的对应值，以及$\text{L}$和$\text{U}$的相应初始值（其被优化）。

3.3 Affine Coupling Layers

　　一个强大的可逆变换，前向函数，反向函数和对数行列式在计算上是有效的，其在(Dinh et al., 2014, 2016)中作为仿射耦合层进行引入。如表1所示。加法耦合层是一种特殊情况，其向量$s=1$，对数行列式为0。
　　Zero initialization。我们将每个$NN()$的最后一个卷积初始化为0，因此每个仿射耦合层最初都执行一个恒等函数。我们发现这有助于训练非常深的网络。
　　Split and concatenation。如(Dinh et al., 2014)一样，$split()$函数沿通道维度将一个输入张量分为两个半部，而$concat()$操作执行对应的反向操作：连接成单个张量。在(Dinh et al., 2016) 中，引入了另一种类型的$split()$：沿着空间维度使用棋盘格模式。 在这项工作中，我们只能沿通道维度进行拆分，从而简化整体结构。
　　Permutation。flow的每个操作步骤都应在某种变换下执行，以确保在具有足够多的flow操作之后，每个维度都可以影响每个其他维度。在(Dinh et al., 2014, 2016) 的置换类型在执行加性耦合层之前简单地逆转通道（特征）的顺序。 另一种选择是执行（固定的）随机排列。我们可逆的1x1卷积是对此类排列的泛化。在实验中，我们比较了这三个选择。