《Generative Adversarial Text to Image Synthesis》阅读理解

1.简介

 从文本描述自动合成真实的图像，也就是把人类所写的一句描述性文本翻译成一系列像素点。例如，“this small bird has a short, pointy orange beak and white belly” 或者 ”the petals of this flower are pink and the anther are yellow”。下图是一个从文本描述生成图像的例子。

 目标：学习一个映射直接把单词和字符转换成图像像素。两步走：首先，捕获重要的视觉细节用来学习一个文本的特征表示；其次，使用这些特征去合成一个人类难分真假的图像。
 贡献：设计了一个简单有效的生成对抗网络(GAN)框架，并制定了一个训练策略能够用描述性的文本去合成关于花鸟的图像。
 数据集： Caltech-UCSD Birds dataset（鸟）；Oxford-102 Flowers dataset（花）；甚至MS COCO dataset（普通图像）。
 注：每张图片都对应有五个描述文本。

2.背景

生成对抗网络

 生成对抗网络包括一个生成器（$G$）以及一个判别器（$D$），它们进行一个二元极大极小博弈：判别器尽可能从合成图像中分辨真实的训练图像；生成器尽可能去愚弄判别器。具体而言，$G$和$D$博弈表示形式如下：