GCN学习 DROPEDGE: TOWARDS DEEP GRAPH CONVOLUTIONAL NETWORKS ON NODE CLASSIFICATION

阅读DropEdge，加深GCN，解决图神经网络无法加深的问题。

---

一、Introduction

图卷积网络是利用消息传递或者说聚合节点邻居的信以及自身的信息来获取节点的高阶特征。但是过度拟合和过度平滑是GCN进行节点分类的主要障碍。通过本文提出的DropEdge方法就可以解决这两个问题。

• 过拟合指在使用复杂模型去拟合少量数据时会造成泛化能力变差，是深度学习模型中常见的问题。
• 过平滑指在GNN中独有的问题。GCN思想是聚合邻居节点和节点自身的信息来学习节点的表示，所以随着网络的加深，节点的表示就会趋于相同，可分性会变差。层数越深，节点的表示最终会收敛到一个固定点，得到的节点表示就和输入特征无关，还会导致梯度消失¹

二、DropEdge

思想

主要思想：指的是在每次训练时间内，随机剔除输入图的固定比率的边，将DropEdge应用于GCN很多好处。

• 增强了输入数据的随机性和多样性，缓解过拟合问题。
• 可以视为一个消息传递减速机。在GCN中，相邻节点之间的消息传递是通过边路径传递的，删除一部分边会使得节点的链接更加稀疏，避免了GCN层数过多而导致的过平滑（梯度爆炸，梯度消失）的问题。

方法

在开始之前，每个epoch随即提出图中的一定数量的边，剔除边后的邻接矩阵是$A_{drop}$，则有$$A_{drop}=A-A^{\prime }$$
$A^{\prime }$是由原来的矩阵选取随机个数边的子集。

防止过拟合

同时为了防止过拟合，还需要归一化处理。就是利用GCN中对每个节点的邻居信息进行聚合，因此它在训练时使用的是随机的邻居子集进行聚合，而不是使用所有的邻居。

DropEdge删边率为p，对邻居聚合的期望是由p改变的。在对权重进行归一化后就不会再使用 p。因此，DropEdge没有改变邻居聚合的期望，是用于GNN训练的无偏的数据增强方法，可以有效防止GNN训练时的过拟合问题。类似于经典的图像数据增强方法：rotation, cropping, flapping。（有点不理解）

层级DropEdge

前面所说的DropEdge用的公式是一次性的，所有层共享一个邻接矩阵。但每层也可以单独进行DropEdge，为数据带来更多的随机性。本文还是所有图卷积层共享相同的邻接矩阵。

阻止过平滑

过平滑指的是随着网络层不断加深，节点的表示最终会收敛到一个固定点。（待理解）这种不必要的收敛会损害GCN的能力，因为最终的输出将会和节点特征无关。
本文使用了一种概念，将过平滑看成收敛到一个子空间而不是一个固定点。

1子空间。是N维空间的子空间，大小为M维。
$ϵ-smoothing$ 层，定义满足（3）的公式的层就该层。满足（3）则称节点特征发生了$ϵ-smoothing$现象。
（略复杂）

在足够深的GCN条件下，任意小的$ϵ值$，都会有$ϵ-smoothing问题$，但没有提出对应的解决方法，但可以缓解。

• 降低节点之间的连接，可以降低过平滑的收敛速度。
• 原始空间和子空间的维度之差衡量了信息的损失量。

总结：

DropEdge与其他概念的区别

1.DropEdge和Dropout

Dropout是对特征向量中某些维度随机置零，可缓解过拟合，但不能缓解过平滑。
DropEdge可以看成Dropout向图数据的推广，将删除特征换成删除边，两者是互补关系。

2.DropEdge和DropNode

作者将基于节点采样的方法称为DropNode。DropEdge是放弃边，但依旧保持节点的特征，而DropNode是放弃了节点，不如DropEdge更灵活。
同时DropNode的效率比较低。因为DropEdge对所有边的采样是并行的。

3.DropEdge和Graph-Sparsification

图稀疏性目标是删除不必要的边，尽可能保留原始输入的信息，而DropEdge则是规定删除总数而随机删除边。图稀疏性的方法需要额外的优化过程来决定删除哪些边。

总结

本文提出的方法有效的缓解了原本GCN在深度加大的问题的问题。和DropOut方法有相似之处，不仅解决了额过拟合的问题，还在图领域解决了过平滑问题。未来的应用可以有效的解决性能问题。
本文参考文献

---

1. https://blog.csdn.net/byn12345/article/details/105444937/?utm_medium=distribute.pc_relevant.none-task-blog-baidujs_title-2&spm=1001.2101.3001.4242 ↩︎