生成对抗网络知识点总结_生成对抗网络高度非凸

GAN就是通过生成网络G和判别网络D不断博弈，进而使G学习到数据的分布。如果用到图片生成上，G可以从一段随机数中生成逼真的图像。

其中G使一个生成式的网络，它接收一个随机的噪声Z（随机数），通过这个噪声生成图像。D是一个判别网络，判别一张图片是不是真实的。它的输入参数是x，输出x维真实图片的概率。如果是1就代表是真实的图片，如果为0就代表是假的。

训练过程中，生成网络G的目标就是尽量生成真实的图片去欺骗判别网络D。而D的目标就是尽量辨别出G生成的假图像和真实的图像。这样，G和D构成了一个动态的“博弈过程”，最终的平衡点即纳什均衡点.

通过优化目标，使得我们可以调节概率生成模型的参数\theta，从而使得生成的概率分布和真实数据分布尽量接近。

GAN创新性地使用了另外一种优化目标。首先，它引入了一个判别模型（常用的有支持向量机和多层神经网络）。其次，它的优化过程就是在寻找生成模型和判别模型之间的一个纳什均衡。

GAN所建立的一个学习框架，实际上就是生成模型和判别模型之间的一个模仿游戏。**生成模型的目的，就是要尽量去模仿、建模和学习真实数据的分布规律；而判别模型则是要判别自己所得到的一个输入数据，究竟是来自于真实的数据分布还是来自于一个生成模型。**通过这两个内部模型之间不断的竞争，从而提高两个模型的生成能力和判别能力。

当一个判别模型的能力已经非常强的时候，如果生成模型所生成的数据，还是能够使它产生混淆，无法正确判断的话，那我们就认为这个生成模型实际上已经学到了真实数据的分布。

相比较传统的模型，他存在两个不同的网络，而不是单一的网络，并且训练方式采用的是对抗训练方式。

GAN中G的梯度更新信息来自判别器D，而不是来自数据样本。GAN采用的是一种无监督的学习方式训练。

GAN应用到一些场景上，比如图片风格迁移，超分辨率，图像补全，去噪，避免了损失函数设计的困难，不管三七二十一，只要有一个的基准，直接上判别器，剩下的就交给对抗训练了。

为什么GAN中的优化器不常用SGD
SGD容易震荡，容易使GAN训练不稳定，

GAN的目的是在高维非凸的参数空间中找到纳什均衡点，GAN的纳什均衡点是一个鞍点，但是SGD只会找到局部极小值，因为SGD解决的是一个寻找最小值的问题，GAN是一个博弈问题。

模式崩溃(model collapse)原因

一般出现在GAN训练不稳定的时候，具体表现为生成出来的结果非常差，但是即使加长训练时间后也无法得到很好的改善。

具体原因可以解释如下：
GAN采用的是对抗训练的方式，G的梯度更新来自D，所以G生成的好不好，得看D怎么说。具体就是G生成一个样本，交给D去评判，D会输出生成的假样本是真样本的概率（0-1），相当于告诉G生成的样本有多大的真实性，G就会根据这个反馈不断改善自己，提高D输出的概率值。但是如果某一次G生成的样本可能并不是很真实，但是D给出了正确的评价，或者是G生成的结果中一些特征得到了D的认可，这时候G就会认为我输出的正确的，那么接下来我就这样输出肯定D还会给出比较高的评价，实际上G生成的并不怎么样，但是他们两个就这样自我欺骗下去了，导致最终生成结果缺失一些信息，特征不全。

为什么GAN不适合处理文本数据

文本数据相比较图片数据来说是离散。G输出了不同的结果但是D给出了同样的判别结果，并不能将梯度更新信息很好的传递到G中去，所以D最终输出的判别没有意义。

另外就是GAN的损失函数是JS散度，JS散度不适合衡量不想交分布之间的距离。