NIPS2018深度学习论文及代码集锦(3)

[1] KDGAN: Knowledge Distillation with Generative Adversarial Networks

Xiaojie Wang, Rui Zhang, Yu Sun, Jianzhong Qi

University of Melbourne, Twitter Inc.

https://papers.nips.cc/paper/7358-kdgan-knowledge-distillation-with-generative-adversarial-networks.pdf

这篇文章提出一种三个玩家的游戏，KDGAN，其中包含分类器，老师以及判别器。分类器和老师通过精炼损失函数来互相学习，并且二者是通过对抗式损失函数跟判别器之间是对抗式训练的。通过同时优化精炼损失函数和对抗损失函数，分类器可以学到真实的平衡数据分布。可以利用精确分布来近似分类器学到的离散分布。从精确分布中，可以生成连续的样本，进而更新梯度时可以得到低方差的梯度，这样可以加速训练过程。

训练时辅助文本有限的情况下图像标签推荐的示例如下

这篇文章的主要贡献如下

KD，NaGAN以及KDGAN之间的对比如下

KDGAN的训练过程伪代码示例如下

几种方法的效果对比如下

几种方法的准确率随迭代次数的变化曲线对比如下

几个超参数对准确率的影响如下

在标签推荐中几种方法的效果对比如下

下面是几个超参数对模型效果的影响

代码地址

https://github.com/xiaojiew1/KDGAN/

---