Graph Neural Networks: A Review of Methods and Applications阅读笔记_dge-conditioned convolution, ecc

词汇解释

• 拉普拉斯矩阵：图的一种表示方式。详细可参考：
  • https://blog.csdn.net/qq_30159015/article/details/83271065
  • https://zhuanlan.zhihu.com/p/84649941
• graph reasoning models(图推理模型)
• graph Embedding(图嵌入)-它学习用低维向量表示图的节点、边或子图。
  相关论文：DeepWalk[17],SkipGram[16],node2vec[18],LINE[19],TADW[20],
• manifolds - 应该是一种结构，流型结构
• propagation steps，updaters.更新器，aggregators(聚合器)
• local transition function f函数-根据节点的邻居更新节点的状态
• 收缩映射 + 不动点：泛函分析中的巴拿赫不动点定理
• 知识图谱：区分信息和知识的不同之处，知识图谱我觉得应该是根据信息构建的知识网络https://zhuanlan.zhihu.com/p/71128505,https://zhuanlan.zhihu.com/p/31726910
• Heterogeneous Graphs 异构图 图论中同构的概念是顶点映射前的边映射之后依旧是图的边
• metadatapath 元映射，使用元映射可以根据节点类型和距离对节点邻居进行分组
• bipartite graph 两偶图/二部图。图论内容
• 图的拉普拉斯特征分解，这里是由于拉普拉斯矩阵是对称矩阵，可以做特征分解
• 归一化拉普拉斯，对拉普拉斯矩阵左乘$D^{-1/2}$,右乘$D^{-1/2}$
• degree matrix，图论基础知识
• adjacency matrix，图论基础知识
• renormalization trick 解决式(13)堆叠操作出现，爆炸/消失问题
• convolved signed matrix
• ACGN,学习节点间的隐式关系Adaptive graph convolutional neural networks
• node degrees不知道是什么，应该是节点的度，就是节点的边数
• positive pointwise mutual information (PPMI) matrix是什么？就是两个随机变量x和y之间的相关性，不相关时为0，相关时有正相关和负相关吧，参考：https://www.cnblogs.com/hanxuexi/p/11619031.html
• Univariate functions单变量函数，一个自变量的函数，也就是一元函数
• graph attentional layer ,文献[68],通过堆叠该层来构造任意的图注意网络。
• Edge-Conditioned Convolution(ECC) 设计的一种特殊的池化模块，其池化模块设计为递归下行采样操作。下采样方法是基于将图，根据拉普拉斯式最大特征向量的符号分成两个部分
• edge-focused, node-focused, graph-focused
• few-shot learning 少样本学习。参考：https://blog.csdn.net/weixin_37589575/article/details/92801610
• NMT task

摘要信息

• 图神经网络（GNNs）是一种连接主义模型，它通过图的节点之间的消息传递来捕捉图的相关性。
• 图卷积网络（GCN）、图注意力网络（GAT）、门控图神经网络（GGNN）都算是图神经网络的变体

文章框架

• 2.介绍了图神经网络家族中的各种模型。我们首先介绍了原始框架及其局限性。然后我们介绍它的变体，试图释放这些限制。最后，我们介绍了最近提出的几种通用框架。
• 3、介绍了图神经网络在结构场景、非结构场景和其他场景中的几种主要应用。
• 4、提出了图神经网络的四个有待解决的问题以及今后的研究方向.
• 5、进行研究的总结

文章知识信息

• 图分析作为一种独特的用于机器学习的非欧几里德数据结构，主要研究问题集中在节点分类、边预测和聚类等方面
• 图神经网络提出的动机：

1. GCN的提出基于CNN，同时又泛化CNN，CNN的特点包括: 局部连接，权重共享，多层结构。与此对应的是图是一种典型的局部连接结构，共享权重降低了计算代价，相比于传统的图谱理论。不过CNN只能处理欧式数据(图像，文本)，而这些又是图的特例，因此希望在图上泛化CNN。不过存在的问题是：如何定义局部卷积滤波器和池化算子，从而解决CNN从欧氏域向非欧氏域的转换。
2. 图嵌入的方法存在缺陷：首先，编码器中的节点之间没有共享参数，这会导致计算效率低下，因为这意味着参数的数量随着节点数的增加而线性增长。第二，直接嵌入方法缺乏泛化能力，不能处理动态图，也不能推广到新的图。

• 图卷积神经网络用于建模：鞥能够集合图结构中的信息。因此，它们可以对由元素及其依赖性组成的输入和/或输出进行建模。此外，图神经网络可以用RNN核同时对扩散过程进行建模。
• GCN的核心思想以及优势和长处：
  GNNs在每个节点上分别传播，忽略节点的输入顺序。换句话说，GNNs的输出对于节点的输入顺序是不变的。其次，图中的边表示两个节点之间的依赖信息。
  GNNs可以在图结构的指导下进行传播，而不是将其作为特性的一部分。一般情况下，GNNs通过邻域状态的加权和来更新节点的隐藏状态。
• 利用GNN可以从non-structural数据中生成图像，Recently,it has been proved that an untrained GNN with a simple architecture also perform well [21].
• 可以在图神经网络中引入门机制，注意机制和跳跃连接
• GNN分类：我打算主要看图卷积网络，图注意力网络还有图spatial-temporal网络

1. graph convolutional networks
2. graph attention networks,
3. graph auto-encoders, 无监督方式进行训练
4. graph generative networks and
5. graph spatial-temporal networks，模型通常用于动态图
   注：在A comprehensive survey on graph neural networks论文中有不同的分类方法。

• 图神经网络存在过度平滑和缩放问题。目前还没有有效的方法来处理动态图形以及非结构化的感官数据(sensory data)建模。我们对每个问题进行了深入的分析，并提出了今后的研究方向。
• GNN的目标是学习状态嵌入state embedding(包含每个节点的邻居信息)
• 普通GNN[首篇GNN文献]的局限性：

1. 首先，对于不动点，迭代更新节点隐藏状态效率较低。如果放宽不动点的假设，我们可以设计一个多层的GNN来得到一个稳定的节点及其邻域的表示
2. GNN在迭代中使用相同的参数，而大多数流行的神经网络在不同的层中使用不同的参数，这是一种层次特征提取方法。节点隐藏状态的更新是一个循序渐进的过程，可以从GRU和LSTM等RNN内核中受益。
3. 第三，在边缘上还存在一些信息特征，这些特征在原始GNN中无法有效建模。此外，如何学习边缘的隐藏状态也是一个重要的问题。最后，如果我们专注于节点的表示而不是图的表示，就不适合使用不动点，因为在不动点上的表示的分布在值上会非常平滑，用于区分每个节点的信息也会比较少。

图神经网络的变体

• 图类型以及建模不同类型图方法
  

  • 有向图
    在边从头实体开始，到尾实体结束的知识图中，头实体是尾实体的父类，这说明我们应该区别对待来自父类和子类的信息传播过程，在DGP中采取了两种权重矩阵$W_c$以及$W_p$来包含更多的结构信息。隐状态更新公式：
    
  • Heterogeneous Graphs 异构图
    处理异构图最简单的方法是将每个节点的类型转换为与原始特征相关联的one-hot特征向量
  • Graphs with Edge Information
    我们可以将图转换为两偶图，转换方式看论文中的叙述看不懂。G2S传播函数(f函数)
    
    这里不同的边使用不同的权值矩阵进行传播。
    当关系的数量很大时，为了降低参数数量，r-GCN中提出建模关系的归一化：basis- and block-diagonal-decomposition
  • Dynamic Graphs
    which has static graph structure and dynamic input signals
    两种处理方式：1. DCRNN [40] and STGCN利用GNN收集空间信息.，然后输出到一个序列到序列的模型中。2，Structural-RNN [42] and ST-GCN [43]同时收集时间和空间信息

• Propagation types

  • 光谱方法和非光谱(空间)方法
    光谱方法学习到的滤波器依赖Laplacian eigenbasis(又依赖于图的结构，需要在指定图结构上训练)，不适合具有不同结构的图。
    空间方法直接在图上定义卷积，存在的问题是：定义具有不同大小邻域的卷积运算以及保持cnn的局部不变性。代表网络：Neerual FPs，DCNN，DGCN(提出了对偶图卷积网络(DGCN)来联合考虑图上的局部一致性和全局一致性。该算法使用两个卷积网络捕获局部/全局一致性，并采用无监督损失对其进行集成)，PATCHY-SAN[53]，LGCN[54]（利用CNN做聚合器），MoNet【22】(Geodesic CNN,Anisotropic CNN ,GCN, DCNN都是MoNet的特例)。GraphSAGE，SACNNs

• 三种聚合器函数：
  Mean aggregator. 它可以被看作是转导GCN框架[2]的卷积运算的近似
  LSTM aggregator.
  Pooling aggregator

• 训练方法
  

• 原有的图卷积神经网络在训练和优化方法上存在一些缺陷。
  GCN需要完整的Laplacian图，对于大型图来说，这需要大量的计算。
  此外，节点在L层的嵌入是通过其所有邻居在L−1层的嵌入来递归计算的。因此，单个节点的接受域（比如说2）相对于层数呈指数增长，因此计算单个节点的梯度代价较大。
  最后，对于固定图，GCN是独立训练的，缺乏归纳学习的能力。

• 采样改进：GraphSAGE，PinSage，FastGCN，[79]引入了一个参数化和可训练的采样器，SSE [80] proposed Stochastic Fixed-Point Gradient Descent for GNN training.

• Receptive Field Control.

• Data Augmentation. 提出了联合训练GCN和自训练GCN来扩大训练数据集。前一种方法是寻找训练数据的最近邻，后一种方法是类似于提升的方法。

• Unsupervised Training 通过无监督的训练方式将节点表示为低维向量，[83]还以变分的方式训练GAE模型，并且该模型被命名为变分图自动编码器(VGAE)，MovieLens dataset.
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5HLYG4LM-1598835477193)(en-resource://database/6930:1)]

GNN应用

• 3种应用场景：
  数据具有显式关系结构的结构化场景，如物理系统、分子结构和知识图
  关系结构不明确的非结构化场景，包括图像、文本等
  生成模型、组合优化问题等其他应用场景。
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6336kyKl-1598835477195)(en-resource://database/6942:1)]
• 结构化场景：包括社交网络预测、交通预测、推荐系统、图表示
• 非结构化场景：如图像、文本、编程源代码[59][145]和多主体系统[90]、[93]、[103]
• 其他场景：Generative Models(neural graph generative models)
  图像：图像分类，视觉推理以及语义分割。视觉推理的其他应用包括目标检测、交互检测和区域分类
  文本：T ext classification，Sequence labeling， Neural machine translation，NMT task，Relation extraction，Event extraction
• (语义分割)Graph-LSTM通过建立基于距离的超像素映射的图，并应用LSTM在全球传播邻域信息来建模长期依赖关系和空间连接
• 3D语义分割.[133]构造了K个最近邻(K nearest neighbors, KNN)图，并使用3D GNN作为传播模型。展开若干步骤后，预测模型以每个节点的隐藏状态作为输入，对节点的语义标签进行预测。

有待继续研究的问题

• 叠加多个GCN层会导致过度平滑，也就是说，所有的顶点会收敛到相同的值。
• 动态图另一个具有挑战性的问题是如何处理具有动态结构的图。静态图是稳定的，因此可以进行建模，而动态图引入变化的结构。当边和节点出现或消失时，GNN不能自适应地变化。
• 如何从原始图像数据中生成Graph。找到最佳的图生成方法将提供更广泛的领域，GNN可以作出贡献。
• 如何在社交网络或推荐系统等webscale条件下应用嵌入方法一直是几乎所有图嵌入算法的致命问题.