当前位置:   article > 正文

GAN网络详解

gan网络

算法描述
生成对抗网络(Generative Adversarial Nets)模型中的两位博弈方分别有生成网络(Generator)与判别网络(Discriminator)充当。当生成网络G捕捉到样本数据分布,用服从某一分布的噪声z生成一个类似真实训练数据的样本,与真实样本越接近越好;判别网络D一般是一个二分类模型,在本文中D是一个多分类器,用于估计一个样本来自于真实数据的概率,如果样本来自于真实数据,则D输出大概率,否则输出小概率。本文中,判别网络需要在此基础上实现分类功能。

在训练的过程中,需要固定一方,更新另一方的网络状态,如此交替进行。在整个训练的过程中,双方都极力优化自己的网络,从而形成竞争对抗,知道双方达到一个动态的平衡。此时生成网络训练出来的数据与真实数据的分布几乎相同,判别网络也无法再判断出真伪。
本文中生成对抗网络主要分为两部分,生成网络(Generator)与判别网络(Discriminator)。向生成网络内输入噪声,通过多次反卷积的方式得到一个28x28x1的图像作为X_fake,此时将真实的图像X_real与生成器生成的X_fake放入判别网络,判别网络使用多次卷积与Sigmoid函数并通过交叉熵函数计算出判别网络的损失函数D_loss,通过判别网络的损失函数D_loss计算得到生成网络损失函数G_loss。使用G_loss与D_loss对生成网络与判别网络进行参数调整。
在这里插入图片描述

算法流程
1.输入噪声z
2.通过生成网络G得到X_fake=G(z)
3.从数据集中获取真实数据X_real
4.通过判别网络D计算D(real logits)=D(X_real)
5.通过判别网络D计算D(fake logits)=D(X_fake)
6.使用交叉熵函数做损失函数根据D(real logits)计算D(loss real)
7.使用交叉熵函数做损失函数根据D(fake logits)计算D(loss fake)
8.计算判别网络损失函数D_loss=D(loss real)+ D_(loss fake)
9.使用交叉熵函数做损失函数计算生成网络损失函数G_loss
10.使用D_loss对判别网络进行参数调整,使用G_loss对生成网络参数进行调整

它做的是去最大化D的区分度,最小化G(U-net)和real数据集的数据分布,在最小化损失函数时,可以通过梯度下降法来一步步的迭代求解,得到最小化的损失函数,和模型参数值

在原始 GAN 中,无法控制要生成的内容,因为输出仅依赖于随机噪声。我们可以将条件输入 c 添加到随机噪声 Z,以便生成的图像由 G(c,z) 定义。这就是 CGAN[6],通常条件输入矢量 c 与噪声矢量 z 直接连接即可,并且将得到的矢量原样作为发生器的输入,就像它在原始 GAN 中一样。条件 c 可以是图像的类,对象的属性或嵌入想要生成的图像的文本描述,甚至是图片。

在这里插入图片描述

使用 PyTorch 实现一个简单的 GAN 模型。以绘画创作为例,假设我们要创造如下“名画”(以正弦图形为例):
在这里插入图片描述

生成该“艺术画作”的代码如下:

def artist_works(): # painting from the famous artist (real target)
r = 0.02 * np.random.randn(1, ART_COMPONENTS)
paintings = np.sin(PAINT_POINTS * np.pi) + r
paintings = torch.from_numpy(paintings).float()
return paintings
然后,分别定义 G 网络和 D 网络模型:

G = nn.Sequential( # Generator
nn.Linear(N_IDEAS, 128), # random ideas (could from normal distribution)
nn.ReLU(),
nn.Linear(128, ART_COMPONENTS), # making a painting from these random ideas)

D = nn.Sequential( # Discriminator
nn.Linear(ART_COMPONENTS, 128), # receive art work either from the famous artist or a newbie like G
nn.ReLU(),
nn.Linear(128, 1),
nn.Sigmoid(), # tell the probability that the art work is made by artist
)
我们设置 Adam 算法进行优化:

opt_D = torch.optim.Adam(D.parameters(), lr=LR_D)
opt_G = torch.optim.Adam(G.parameters(), lr=LR_G)
最后,构建 GAN 迭代训练过程:

plt.ion() # something about continuous plotting

D_loss_history = []
G_loss_history = []
for step in range(10000):
artist_paintings = artist_works() # real painting from artist
G_ideas = torch.randn(BATCH_SIZE, N_IDEAS) # random ideas G_paintings = G(G_ideas) # fake painting from G (random ideas)

prob_artist0 = D(artist_paintings) # D try to increase this prob
prob_artist1 = D(G_paintings) # D try to reduce this prob

D_loss = - torch.mean(torch.log(prob_artist0) + torch.log(1. - prob_artist1))
G_loss = torch.mean(torch.log(1. - prob_artist1))

D_loss_history.append(D_loss)
G_loss_history.append(G_loss)

opt_D.zero_grad()
D_loss.backward(retain_graph=True) # reusing computational graph
opt_D.step()

opt_G.zero_grad()
G_loss.backward()
opt_G.step()

if step % 50 == 0: # plotting
plt.cla()
plt.plot(PAINT_POINTS[0], G_paintings.data.numpy()[0], c=’#4AD631’, lw=3, label=‘Generated painting’,)
plt.plot(PAINT_POINTS[0], np.sin(PAINT_POINTS[0] * np.pi), c=’#74BCFF’, lw=3, label=‘standard curve’)
plt.text(-1, 0.75, ‘D accuracy=%.2f (0.5 for D to converge)’ % prob_artist0.data.numpy().mean(), fontdict={‘size’: 8}) plt.text(-1, 0.5, ‘D score= %.2f (-1.38 for G to converge)’ % -D_loss.data.numpy(), fontdict={‘size’: 8})
plt.ylim((-1, 1));plt.legend(loc=‘lower right’, fontsize=10);plt.draw();plt.pause(0.01)

plt.ioff()
plt.show()

采用动态绘图的方式,便于时刻观察 GAN 模型训练情况。
迭代次数为 1 时:在这里插入图片描述

迭代次数为 200 时:
在这里插入图片描述
迭代次数为 1000 时:在这里插入图片描述

迭代次数为 10000 时:在这里插入图片描述

经过 10000 次迭代训练之后,生成的曲线已经与标准曲线非常接近了。D 的 score 也如预期接近 0.5。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/菜鸟追梦旅行/article/detail/712270
推荐阅读
相关标签
  

闽ICP备14008679号