Generative Adversarial Text to Image Synthesis --- 根据文字描述生成对应的图片_generative adversarial text to image synthesis.

总说

简单的说就是根据文字进行生成相应的图片。
先看效果：

架构

这里首先用一个 text embedding网络来将文字转换为向量，$\phi(t)$是1024维的向量，然后投影成128。并将这128向量分别加入到G和D网络中。在G中直接concat到后面，而D中由于中间出来的是spatial size是4x4大小的，所以直接复制4x4份，后面concat上去。
因为普通的GAN就是一个$z$直接生成图片，但是这里是要让生成的图片符合$t$的描述。因此显然要把$t$embedding成向量，然后加入$z$中。有意思的是，这里D也加入了$\phi(t)$，个人觉得这类似CGAN。
然后作者提出了GAN-CLS以及GAN-INT.

GAN-CLS

如果是普通的GAN，那么D只要负责看G的生成图片是真是假就行。但是这里的任务是要让G生成符合$t$描述的图像。因此D担负着两个任务：
1. 判断G生成的图片是真是假
2. 判断生成的图片是否符合$t$的描述。
所以：

与普通GAN不同的是，这里多了一种错误情况，即看上去挺真的，但是对应的描述