图神经网络综述

1.为什么出现图神经网络GNN？

近年来，人们对深度学习方法在图上的扩展越来越感兴趣。在多方因素的成功推动下，研究人员借鉴了卷积网络、循环网络和深度自动编码器的思想，定义和设计了用于处理图数据的神经网络结构：图神经网络（Graph Neural Networks，GNN）

 传统的深度学习方法在提取欧氏空间数据（如Image） 的特征方面取得了巨大的成功，但在处理非欧式空间数据（如Graph） 上的表现却仍难以使人满意。许多实际应用场景中的数据是从非欧式空间生成的，如推荐系统中的图。
 图是不规则的，每个图都有一个大小可变的无序节点，图中的每个节点都有不同数量的相邻节点。 因此，一些重要的操作（如卷积），在图像（Image）上很容易计算，但不再适合直接用于图。
 图中的样本不是相互独立的，图中的每个数据样本（节点）都会有边与图中其他实数据样本（节点）相关，这些信息可用于捕获实例之间的相互依赖关系。但是，现有深度学习算法的一个核心假设是数据样本之间彼此独立。

2.GNN与图/网络嵌入

 交集：Deep learning
 图嵌入通过保留图的网络拓扑结构和节点内容信息，将图中顶点表示在低维向量空间中，以便使用简单的机器学习算法进行分类、聚类、推荐等操作。许多图嵌入算法通常是无监督的算法，它们可以大致可以划分为三个类别，即矩阵分解、随机游走和深度学习方法。
 图嵌入的深度学习方法也属于图神经网络，包括基于图自动编码器的算法（如DNGR和SDNE）和无监督训练的图卷积神经网络（如GraphSage）。

3.GNN的发展

1. Spectral-based graph convolutional networks： 2013年，Bruna等人提出了关于GCN的第一个重要研究，开发了一种基于频谱图理论的图卷积变体。
2. Spatial-based graph convolutional networks： 由于频谱方法通常同时处理整个图，并且难以并行或缩放到大型图，因此基于空间的图卷积网络得到了快速发展。其连同采样策略一起，可以在一批节点中而不是整个图形中进行计算，提高了效率。
3. 除了图卷积网络，还开发了图注意力网络、图自编码器、图生成网络和图时空网络等。

4.图神经网络分类

1. 按照无监督方法和半监督方法分类
   
2. 按图的类型、训练方法或误差传播方法分类
   

5.图监督学习的统一分析框架：消息传递网络

 消息传递网络（message passing neural network，MPNN）可以作为分析图学习的一个统一框架。传播过程可以视作一个消息传递的过程，分为融合与更新两步：

• Aggregator：$m_v^{t+1}=\sum _{w\in N_v}{M}_t(h_v^t,h_w^t,e_{vw})$
• Updater：$h_v^{t+1}=U_t(h_v^t,m_v^{t+1})$
  其中$M_t$，$U_t$为时变的函数。

 最后，读出（readout）过程给出一个输出向量，例如分类问题中的softmax： y ^ = R ( { h v T ∣ v ∈ G } ) \widehat y=R(\{h_v^T|v\in G\}) y ​=R({ hvT​∣v∈G})。

GCN：
$M_v^{t+1}={\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}{H}_v^t{W}^t$
$H_v^{t+1}=\sigma (M_v^{t+1})$
GraphSAGE：