KDD‘20 | 基于生成模型的图神经网络预处理方法_图生成神经网络

阅读更多，欢迎关注公众号：论文收割机（paper_reader）
因为排版问题，很多图片和公式无法直接显示，欢迎关注我们的公众号点击目录来阅读原文。

Hu, Ziniu, et al. "GPT-GNN: Generative Pre-Training of Graph Neural Networks." KDD. 2020.

引言

相信大家对“预处理-精调优”的神经网络训练方式都不陌生。自从2018年谷歌提出BERT以来，不少复杂的神经网络都是以这种方式进行训练的：现在大量的通用无监督数据上进行模型的预处理，之后再在有监督信息的小数据集上做特定任务的训练。

这次，我们将与大家分享发表在今年KDD上的一篇文章《GPT-GNN: Generative Pre-Training of Graph Neural Networks》，来探讨如何在图神经网络上进行类似的预训练，并探究这样的预训练模式会给模型带来怎样的效果提升。

背景

BERT是谷歌在2018年推出的语言模型，一经推出便在各个自然语言处理任务上取得优异的成绩。BERT中采用的预处理任务有两个：一个是Masked LM，通过上下文预测被覆盖的词，类似完形填空；另一个是Next Sentence Prediction，预测一句话与另一句话是否构成上下文关系。模型在大规模的无标注文本上进行预处理之后