WGAN(Wassertein GAN)

WGAN

E x ∼ P g [ log ⁡ ( 1 − D ( x ) ) ] E x ∼ P g [ − log ⁡ D ( x ) ]

$$\begin{aligned} & \mathbb{E}_{x \sim P_g}[\log (1-D(x))] \\ & \mathbb{E}_{x \sim P_g}[-\log D(x)] \end{aligned}$$ ​Ex∼Pg​​[log(1−D(x))]Ex∼Pg​​[−logD(x)]​
原始 GAN 中判别器; 在 WGAN 两篇论文中称为 “the - log D alternative” 或 “the - log D trick”。WGAN 前作分别分析了这两种形式的原始 GAN 各自的问题所在 .

第一种原始 GAN 形式的问题

原始 GAN 中判别器要最小化如下损失函数，尽可能把真实样本分为正例，生成样本分为负例：
$$-{\mathbb{E}}_{x\sim P_r}[\log D(x)]-{\mathbb{E}}_{x\sim P_g}[\log (1-D(x))]$$
一句话概括：判别器越好，生成器梯度消失越严重。

在生成器 G 固定参数时最优的判别器 D 应该是什么，对于一个具体样本$x$ 它对公式 1 损失函数的贡献是
$$-P_r(x)\log D(x)-P_g(x)\log [1-D(x)]$$

$$-\frac{P_r(x)}{D(x)}+\frac{P_g(x)}{1-D(x)}=0$$

$$D^{\ast }(x)=\frac{P_r(x)}{P_r(x)+P_g(x)}$$

如果$P_r(x)=0$且 $P_g(x)\ne 0$ 最优判别器就应该非常自信地给出概率 0；如果$P_r(x)=P_g(x)$

说明该样本是真是假的可能性刚好一半一半，此时最优判别器也应该给出概率 0.5。

GAN 训练有一个 trick，就是别把判别器训练得太好，否则在实验中生成器会完全学不动（loss 降不下去），为了探究背后的原因，我们就可以看看在极端情况 —— 判别器最优时，生成器的损失函数变成什么。给公式 2 加上一个不依赖于生成器的项，使之变成

$D^{\ast }(x)$ 带入 公式1 得到
$${\mathbb{E}}_{x\sim P_r}\log \frac{P_r(x)}{\frac{1}{2}\left[P_r(x)+P_g(x)\right]}+{\mathbb{E}}_{x\sim P_g}\log \frac{P_g(x)}{\frac{1}{2}\left[P_r(x)+P_g(x)\right]}-2\log 2$$

K L ( P 1 ∥ P 2 ) = E x ∼ P 1 log ⁡ P 1 P 2 J S ( P 1 ∥ P 2 ) = 1 2 K L ( P 1 ∥ P 1 + P 2 2 ) + 1 2 K L ( P 2 ∥ P 1 + P 2 2 )

$$\begin{aligned} & K L\left(P_1 \| P_2\right)=\mathbb{E}_{x \sim P_1} \log \frac{P_1}{P_2} \\ & J S\left(P_1 \| P_2\right)=\frac{1}{2} K L\left(P_1 \| \frac{P_1+P_2}{2}\right)+\frac{1}{2} K L\left(P_2 \| \frac{P_1+P_2}{2}\right) \end{aligned}$$ ​KL(P1​∥P2​)=Ex∼P1​​logP2​P1​​JS(P1​∥P2​)=21​KL(P1​∥2P1​+P2​​)+21​KL(P2​∥2P1​+P2​​)​

$$2JS\left(P_r\Vert P_g\right)-2\log 2$$

key point

在最优判别器下，我们可以把原始GAN定义的生成器loss等价变换为最小化真实分布$P_r$ 与生成分布$P_g$ 之间的JS散度。我们越训练判别器，它就越接近最优。 最小化生成器的 loss 也就会越近似于最小化$ P_r$ 和$P_g$ 之间的JS 散度。

问题就出在这个 JS 散度上。我们会希望如果两个分布之间越接近它们的 JS 散度越小，我们通过优化 JS 散度就能将$P_g$ "拉向"$P_r$​, ，最终以假乱真。这个希望在两个分布有所重叠的时候是成立的，但是如果两个分布完全没有重叠的部分，或者它们重叠的部分可忽略（下面解释什么叫可忽略），它们的 JS 散度是多少呢？ 答案是log⁡2，因为对于任意一个 x 只有四种可能：
P 1 ( x ) = 0  且  P 2 ( x ) = 0 P 1 ( x ) ≠ 0  且  P 2 ( x ) ≠ 0 P 1 ( x ) = 0  且  P 2 ( x ) ≠ 0 P 1 ( x ) ≠ 0  且  P 2 ( x ) = 0

$$\begin{aligned} & P_1(x)=0 \text { 且 } P_2(x)=0 \\ & P_1(x) \neq 0 \text { 且 } P_2(x) \neq 0 \\ & P_1(x)=0 \text { 且 } P_2(x) \neq 0 \\ & P_1(x) \neq 0 \text { 且 } P_2(x)=0 \end{aligned}$$ ​P1​(x)=0 且 P2​(x)=0P1​(x)=0 且 P2​(x)=0P1​(x)=0 且 P2​(x)=0P1​(x)=0 且 P2​(x)=0​

• 第一种对计算 JS 散度无贡献
• 第二种情况由于重叠部分可忽略所以贡献也为 0
• 第三种情况对公式 7 右边第一个项的贡献 $\log \frac{P_2}{\frac{1}{2}\left(P_2+0\right)}=\log 2$
• 第四种情况 $JS\left(P_1\Vert P_2\right)=\log 2$

即无论$P_r$ 跟$P_g$ 是远在天边，还是近在眼前，只要它们俩没有一点重叠或者重叠部分可忽略，JS 散度就固定是常数log⁡2， 而这对于梯度下降方法意味着 —— 梯度为 0.此时对于最优判别器来说，生成器肯定是得不到一丁点梯度信息的；即使对于接近最优的判别器来说，生成器也有很大机会面临梯度消失的问题。

Manifold A topological space that locally resembles Euclidean space near each point when this Euclidean space is of dimension $n$ ,the manifold is referred as manifold.

• 支撑集（support）其实就是函数的非零部分子集，比如 ReLU 函数的支撑集就是(0,+∞)，一个概率分布的支撑集就是所有概率密度非零部分的集合。
• 流形（manifold）是高维空间中曲线、曲面概念的拓广，我们可以在低维上直观理解这个概念，比如我们说三维空间中的一个曲面是一个二维流形，因为它的本质维度（intrinsic dimension）只有 2，一个点在这个二维流形上移动只有两个方向的自由度。同理，三维空间或者二维空间中的一条曲线都是一个一维流形。

$Pr$ 已发现它们集中在较低维流形中。这实际上是流形学习的基本假设。想想现实世界的图像，一旦主题或所包含的对象固定，图像就有很多限制可以遵循，例如狗应该有两只耳朵和一条尾巴，摩天大楼应该有笔直而高大的身体，等等。这些限制使图像无法具有高维自由形式。

$P_g$ 也存在于低维流形中。每当生成器被要求提供更大的图像（例如 64x64），给定小尺寸（例如 100），噪声变量输入$z$ 这4096个像素的颜色分布是由100维的小随机数向量定义的，很难填满整个高维空间。

$P_r$ 和 $P_g$ 不重叠或重叠部分可忽略的可能性有多大？不严谨的答案是：非常大。

both $P_r$ and $p_g$ 处于低维流形中，他们几乎不会相交。（wgan 前面一篇理论证明）

GAN 中的生成器一般是从某个低维（比如 100 维）的随机分布中采样出一个编码向量 $z$，再经过一个神经网络生成出一个高维样本（比如 64x64 的图片就有 4096 维）。当生成器的参数固定时，生成样本的概率分布虽然是定义在 4096 维的空间上，但它本身所有可能产生的变化已经被那个 100 维的随机分布限定了，其本质维度就是 100，再考虑到神经网络带来的映射降维，最终可能比 100 还小，所以生成样本分布的支撑集就在 4096 维空间中构成一个最多 100 维的低维流形，“撑不满” 整个高维空间。

在这里插入图片描述

我们就得到了 WGAN 前作中关于生成器梯度消失的第一个论证：在（近似）最优判别器下，最小化生成器的 loss 等价于最小化 $P_r$ 与$P_g$ 之间的JS散度，而由于$P_r$ 与$P_g$ 几乎不可能有不可忽略的重叠，所以无论它们相距多远 JS 散度都是常数log⁡2，最终导致生成器的梯度（近似）为 0，梯度消失。

原始 GAN 不稳定的原因就彻底清楚了：判别器训练得太好，生成器梯度消失，生成器 loss 降不下去；判别器训练得不好，生成器梯度不准，四处乱跑。只有判别器训练得不好不坏才行，但是这个火候又很难把握，甚至在同一轮训练的前后不同阶段这个火候都可能不一样，所以 GAN 才那么难训练。

第二种原始 GAN 形式的问题 “the - log D trick”

一句话概括：最小化第二种生成器 loss 函数，会等价于最小化一个不合理的距离衡量，导致两个问题，一是梯度不稳定，二是 **Mode collapse 即多样性不足。**WGAN 前作又是从两个角度进行了论证

上文推导已经得到在最优判别器$D^{\ast }$ 下
$${\mathbb{E}}_{x\sim P_r}\left[\log D^{\ast }(x)\right]+{\mathbb{E}}_{x\sim P_g}\left[\log \left(1-D^{\ast }(x)\right)\right]=2JS\left(P_r\Vert P_g\right)-2\log 2$$

K L ( P g ∥ P r ) = E x ∼ P g [ log ⁡ P g ( x ) P r ( x ) ] = E x ∼ P g [ log ⁡ P g ( x ) / ( P r ( x ) + P g ( x ) ) P r ( x ) / ( P r ( x ) + P g ( x ) ) ] = E x ∼ P g [ log ⁡ 1 − D ∗ ( x ) D ∗ ( x ) ] = E x ∼ P g log ⁡ [ 1 − D ∗ ( x ) ] − E x ∼ P g log ⁡ D ∗ ( x )

$$\begin{aligned} K L\left(P_g \| P_r\right) & =\mathbb{E}_{x \sim P_g}\left[\log \frac{P_g(x)}{P_r(x)}\right] \\ & =\mathbb{E}_{x \sim P_g}\left[\log \frac{P_g(x) /\left(P_r(x)+P_g(x)\right)}{P_r(x) /\left(P_r(x)+P_g(x)\right)}\right] \\ & =\mathbb{E}_{x \sim P_g}\left[\log \frac{1-D^*(x)}{D^*(x)}\right] \\ & =\mathbb{E}_{x \sim P_g} \log \left[1-D^*(x)\right]-\mathbb{E}_{x \sim P_g} \log D^*(x) \end{aligned}$$ KL(Pg​∥Pr​)​=Ex∼Pg​​[logPr​(x)Pg​(x)​]=Ex∼Pg​​[logPr​(x)/(Pr​(x)+Pg​(x))Pg​(x)/(Pr​(x)+Pg​(x))​]=Ex∼Pg​​[logD∗(x)1−D∗(x)​]=Ex∼Pg​​log[1−D∗(x)]−Ex∼Pg​​logD∗(x)​

E x ∼ P g [ − log ⁡ D ∗ ( x ) ] = K L ( P g ∥ P r ) − E x ∼ P g log ⁡ [ 1 − D ∗ ( x ) ] = K L ( P g ∥ P r ) − 2 J S ( P r ∥ P g ) + 2 log ⁡ 2 + E x ∼ P r [ log ⁡ D ∗ ( x ) ]

$$\begin{aligned} \mathbb{E}_{x \sim P_g}\left[-\log D^*(x)\right] & =K L\left(P_g \| P_r\right)-\mathbb{E}_{x \sim P_g} \log \left[1-D^*(x)\right] \\ & =K L\left(P_g \| P_r\right)-2 J S\left(P_r \| P_g\right)+2 \log 2+\mathbb{E}_{x \sim P_r}\left[\log D^*(x)\right] \end{aligned}$$ Ex∼Pg​​[−logD∗(x)]​=KL(Pg​∥Pr​)−Ex∼Pg​​log[1−D∗(x)]=KL(Pg​∥Pr​)−2JS(Pr​∥Pg​)+2log2+Ex∼Pr​​[logD∗(x)]​

注意上式最后两项不依赖于生成器 $G$ ，最终得到最小化公式 3 等价于最小化 $KL\left(P_g\Vert P_r\right)-2JS\left(P_r\Vert P_g\right)$

这个等价最小化目标存在两个严重的问题。第一是它同时要最小化生成分布与真实分布的 KL 散度，却又要最大化两者的 JS 散度，一个要拉近，一个却要推远！这在直观上非常荒谬，在数值上则会导致梯度不稳定，这是后面那个 JS 散度项的毛病。

第二，即便是前面那个正常的 KL 散度项也有毛病。因为 KL 散度不是一个对称的衡量 $KL\left(P_g\Vert P_r\right)$ 与 $KL\left(P_r\Vert P_g\right)$ 是有差别的。

Wasserstein 距离的优越性质

$$W\left(P_r,P_g\right)=\underset{\gamma \sim \Pi \left(P_r,P_g\right)}{\inf }{\mathbb{E}}_{(x,y)\sim \gamma }[\Vert x-y\Vert ]$$

可以看出 Wasserstein 距离处处连续，而且几乎处处可导，数学性质非常好，能够在两个分布没有重叠部分的时候，依旧给出合理的距离度量。对于离散概率分布，Wasserstein 距离也被描述性地称为推土机距离 (EMD)。 如果我们将分布想象为一定量地球的不同堆，那么 EMD 就是将一个堆转换为另一堆所需的最小总工作量。

解释如下: $\Pi \left(P_r,P_g\right)$ 是 $P_r$ 和 $P_g$ 组合起来的所有可能的联合分布的集合，反过来说， $\Pi \left(P_r,P_g\right)$ 中每一个分布的边缘分布都是 $P_r$ 和 $P_g$ 。对于每一个可能的联合分布 $\gamma$ 而言，可以从 中采样 $(x,y)\sim \gamma$ 得到一个真实样本 $x$ 和一个生成样本 $y$ ，并算出这对样本的距离 $\Vert x-y\Vert$ ，所 以可以计算该联合分布 $\gamma$ 下样本对距离的期望值 ${\mathbb{E}}_{(x,y)\sim \gamma }[\Vert x-y\Vert ]$ 。在所有可能的联合分布中 够对这个期望值取到的下界inf ${\mathrm{in}}_{\gamma \sim \left(P_r,P_g\right)}{\mathbb{E}}_{(x,y)\sim \gamma }[\Vert x-y\Vert ]$ ，就定义为 Wasserstein 距离。

直观上可以把 ${\mathbb{E}}_{(x,y)\sim \gamma }[\Vert x-y\Vert ]$ 理解为在 $\gamma$ 这个 “路径规划" 下把 $P_r$ 这堆 “沙土" 挪到 $P_g$ “位置” 所需的 “消耗”, 而 $W\left(P_r,P_g\right)$ 就是 “最优路径规划" 下的 “最小消耗”，所以才 叫 Earth-Mover (推土机 ) 距离。

Wasserstein 距离相比 KL 散度、JS 散度的优越性在于，即便两个分布没有重叠，Wasserstein 距离仍然能够反映它们的远近。WGAN 本作通过简单的例子展示了这一点。考虑如下二维空间中 的两个分布 $P_1$ 和 $P_2，P_1$ 在线段 $\mathrm{AB}$ 上均匀分布， $P_2$ 在线段 $\mathrm{CD}$ 上均匀分布，通过控制参数 $\theta$ 可以控制着两个分布的距离远近。

K L ( P 1 ∥ P 2 ) = K L ( P 1 ∣ ∣ P 2 ) = { + ∞  if  θ ≠ 0 0  if  θ = 0  (突变)  J S ( P 1 ∥ P 2 ) = { log ⁡ 2  if  θ ≠ 0 0  if  θ − 0  (突变 )  W ( P 0 , P 1 ) = ∣ θ ∣  (平滑 ) 

$$\begin{aligned} & K L\left(P_1 \| P_2\right)=K L\left(P_1|| P_2\right)=\left\{\begin{array}{ll} +\infty & \text { if } \theta \neq 0 \\ 0 & \text { if } \theta=0 \end{array}\right. \text { (突变) } \\ & J S\left(P_1 \| P_2\right)=\left\{\begin{array}{ll} \log 2 & \text { if } \theta \neq 0 \\ 0 & \text { if } \theta-0 \end{array}\right. \text { (突变 ) } \\ & W\left(P_0, P_1\right)=|\theta| \text { (平滑 ) } \end{aligned}$$ ​KL(P1​∥P2​)=KL(P1​∣∣P2​)={+∞0​ if θ=0 if θ=0​ (突变) JS(P1​∥P2​)={log20​ if θ=0 if θ−0​ (突变 ) W(P0​,P1​)=∣θ∣ (平滑 ) ​

第四部分：从 Wasserstein 距离到 WGAN

$$\mathrm{EMD}\left(P_r,P_{\theta }\right)=\underset{\gamma \in \Pi }{\inf }\sum _{x,y}\Vert x-y\Vert \gamma (x,y)=\underset{\gamma \in \Pi }{\inf }{\mathbb{E}}_{(x,y)\sim \gamma }\Vert x-y\Vert$$

It is intractable to exhaust all the possible joint distributions in $\Pi \left(p_r,p_g\right)$ to compute ${\inf }_{\gamma \sim \Pi \left(p_r,p_g\right)}$ Thus the authors proposed a smart transformation of the formula based on the KantorovichRubinstein duality to: 作者提出了基于 Kantorovich-Rubinstein 对偶性的公式的巧妙转换：
$$W\left(p_r,p_g\right)=\frac{1}{K}\underset{\Vert f\Vert L\le K}{\sup }{\mathbb{E}}_{x\sim p_r}[f(x)]-{\mathbb{E}}_{x\sim p_g}[f(x)]$$
首先需要介绍一个概念——Lipschitz 连续。它其实就是在一个连续函数 $f$ 上面额外施加了一个限 制，要求存在一个常数 $K\ge 0$ 使得定义域内的任意两个元素 $x_1$ 和 $x_2$ 都满足
$$\left|f\left(x_1\right)-f\left(x_2\right)\right|\le K\left|x_1-x_2\right|$$
此时称函数 $f$ 的 Lipschitz 常数为 $K$ 。

上述公式 的意思就是在要求函数 $f$ 的 Lipschitz 常数 $\mid f{\Vert }_L$ 不超过 $K$ 的条件下，对所有可能满足 件的 $f$ 取到趻 数 $w$ 来定义一系列可能的函数 $f_w$ ，此时求解公式 可以近似变成求解如下形式
$$K\cdot W\left(P_r,P_g\right)\approx \underset{w:{|f_w|}_L\le K}{\max }{\mathbb{E}}_{x\sim P_r}\left[f_w(x)\right]-{\mathbb{E}}_{x\sim P_g}\left[f_w(x)\right]$$

$$W\left(p_r,p_{\theta }\right)=\underset{\gamma \in \pi }{\inf }\iint \Vert x-y\Vert \gamma (x,y)\mathrm{d}x\mathrm{d}y=\underset{\gamma \in \pi }{\inf }{\mathbb{E}}_{x,y\sim \gamma }[\Vert x-y\Vert ].$$

W ( p r , p θ ) = inf ⁡ γ ∈ π E x , y ∼ γ [ ∥ x − y ∥ ] = inf ⁡ γ E x , y ∼ γ [ ∥ x − y ∥ + sup ⁡ f E s ∼ p r [ f ( s ) ] − E t ∼ p θ [ f ( t ) ] − ( f ( x ) − f ( y ) ) ] ⏟ = { 0 ,  if  γ ∈ π + ∞  else  = inf ⁡ γ sup ⁡ f E x , y ∼ γ [ ∥ x − y ∥ + E s ∼ p r [ f ( s ) ] − E t ∼ p θ [ f ( t ) ] − ( f ( x ) − f ( y ) ) ]

$$\begin{aligned} W\left(p_r, p_\theta\right) & =\inf _{\gamma \in \pi} \mathbb{E}_{x, y \sim \gamma}[\|x-y\|] \\ & =\inf _\gamma \mathbb{E}_{x, y \sim \gamma}[\|x-y\|+\underbrace{\left.\sup _f \mathbb{E}_{s \sim p_r}[f(s)]-\mathbb{E}_{t \sim p_\theta}[f(t)]-(f(x)-f(y))\right]} \\ & =\left\{\begin{array}{c} 0, \text { if } \gamma \in \pi \\ +\infty \text { else } \end{array}\right. \\ & =\inf _\gamma \sup _f \mathbb{E}_{x, y \sim \gamma}\left[\|x-y\|+\mathbb{E}_{s \sim p_r}[f(s)]-\mathbb{E}_{t \sim p_\theta}[f(t)]-(f(x)-f(y))\right] \end{aligned}$$ W(pr​,pθ​)​=γ∈πinf​Ex,y∼γ​[∥x−y∥]=γinf​Ex,y∼γ​[∥x−y∥+ fsup​Es∼pr​​[f(s)]−Et∼pθ​​[f(t)]−(f(x)−f(y))]​={0, if γ∈π+∞ else ​=γinf​fsup​Ex,y∼γ​[∥x−y∥+Es∼pr​​[f(s)]−Et∼pθ​​[f(t)]−(f(x)−f(y))]​

sup ⁡ f inf ⁡ γ E x , y ∼ γ [ ∥ x − y ∥ + E s ∼ p r [ f ( s ) ] − E t ∼ p θ [ f ( t ) ] − ( f ( x ) − f ( y ) ) ] = sup ⁡ f E s ∼ p r [ f ( s ) ] − E t ∼ p θ [ f ( t ) ] + inf ⁡ γ E x , y ∼ γ [ ∥ x − y ∥ − ( f ( x ) − f ( y ) ) ] ⏟ γ = { 0 ,  if  ∥ f ∥ L ≤ 1 − ∞  else 

$$\begin{array}{r} \sup _f \inf _\gamma \mathbb{E}_{x, y \sim \gamma}\left[\|x-y\|+\mathbb{E}_{s \sim p_r}[f(s)]-\mathbb{E}_{t \sim p_\theta}[f(t)]-(f(x)-f(y))\right] \\ =\sup _f \mathbb{E}_{s \sim p_r}[f(s)]-\mathbb{E}_{t \sim p_\theta}[f(t)]+\underbrace{\inf _\gamma \mathbb{E}_{x, y \sim \gamma}[\|x-y\|-(f(x)-f(y))]}_\gamma \\ =\left\{\begin{array}{cc} 0, & \text { if }\|f\|_L \leq 1 \\ -\infty & \text { else } \end{array}$$ \right. \end{array} supf​infγ​Ex,y∼γ​[∥x−y∥+Es∼pr​​[f(s)]−Et∼pθ​​[f(t)]−(f(x)−f(y))]=supf​Es∼pr​​[f(s)]−Et∼pθ​​[f(t)]+γ γinf​Ex,y∼γ​[∥x−y∥−(f(x)−f(y))]​​={0,−∞​ if ∥f∥L​≤1 else ​​

W ( p r , p θ ) = sup ⁡ f E s ∼ p r [ f ( s ) ] − E t ∼ p θ [ f ( t ) ] + inf ⁡ γ E x , y ∼ γ [ ∥ x − y ∥ − ( f ( x ) − f ( y ) ) ] = sup ⁡ ∥ f ∥ L ≤ 1 E s ∼ p r [ f ( s ) ] − E t ∼ p θ [ f ( t ) ]

$$\begin{aligned} W\left(p_r, p_\theta\right) & =\sup _f \mathbb{E}_{s \sim p_r}[f(s)]-\mathbb{E}_{t \sim p_\theta}[f(t)]+\inf _\gamma \mathbb{E}_{x, y \sim \gamma}[\|x-y\|-(f(x)-f(y))] \\ & =\sup _{\|f\|_{L \leq 1}} \mathbb{E}_{s \sim p_r}[f(s)]-\mathbb{E}_{t \sim p_\theta}[f(t)] \end{aligned}$$ W(pr​,pθ​)​=fsup​Es∼pr​​[f(s)]−Et∼pθ​​[f(t)]+γinf​Ex,y∼γ​[∥x−y∥−(f(x)−f(y))]=∥f∥L≤1​sup​Es∼pr​​[f(s)]−Et∼pθ​​[f(t)]​