生成对抗网络学习_生成对抗网络的目标函数

1.Generative Adversarial Nets

Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C]//Advances in neural information processing systems. 2014: 2672-2680. —— [ 论文链接]

简介

  作者利用对抗的思想提出了一种预测生成模型的新框架。这种框架同时训练两种模型：生成模型（G，用于捕获数据的分布）以及判别模型（D，用于预测一个样本来自于训练数据而不是G）。
  近年来，出现了大量的深度学习方法，它们能有效对各种数据（如自然图像、音频和自然语言等）的概率分布进行表示，因而在人工智能上得到了广泛应用。目前，大量深度学习方面的工作的涉及到了判别模型。通过判别模型，能够将高维丰富的感官信息映射成一个类别标签。但是深度的生成模型应用很少，因为极大似然估计的难以近似和相关策略中会出现许多棘手的概率计算，同时难以利用生成语境中分段线性单元的好处。而生成对抗很好地将生成模型和判别模型结合在一起。
  非常通俗的两个比喻：

• 造假者和警察：造假者造出假钞，他们的目的是以假乱真，也就是使得假钞越来越像真钞；警察的目的是判断一张钞票是真的还是假的，尽可能使将一张真钞判断为真，避免判断的失误。
• 魔术师和观众：魔术师能够变出一只假兔子，他需要确保这只兔子足够真实使得观众无法察觉出这是一只假兔子；而台下的观众总是希望能够找到魔术师的破绽，尽可能地判断魔术师变出来兔子的真假。

  上面的两个例子中，造假者和魔术师就充当了生成器的角色；而警察和观众就充当了判别器的角色。

生成对抗网络

 生成对抗网络非常直白，生成器和判别器都是一个多层感知机。生成器为了学习数据$x$的分布$p_g$，首先定义了一个噪声输入变量$p_z(z)$，同时$G(z;\theta_g)$表示的是一个对数据空间的映射，$G$是一个可微函数，参数是$\theta_g$。判别器被定义为