【图-注意力笔记，篇章2】Graphormer 和 GraphFormers论文笔记之两篇经典Graph Transformer来入门

说明：本文仅供学习，未经同意请勿转载
笔记时间：2022年08月
博客公开时间：2023年3月2日

前情回顾

前面我们大致的了解了Graph Transformer是什么，以及它与GNN、Transformer的差别，关联。如果对这方面不是很熟悉的朋友可以看一下【图-注意力笔记，篇章1】一份PPT带你快速了解Graph Transformer：包括Graph Transformer 的简要回顾且其与GNN、Transformer的关联

在大致的了解Graph Transformer之后，笔者在篇章2中将介绍一下两篇笔者自身认为必看的经典Graph Transformer的文章——Graphormer和GraphFormers。

别看这两个名字有点像，但是它们的做法是不一样得。在篇章1中，我们可以知道Graph Transformer实际上就是GNN和Transformer的结合。根据笔者我阅读的文献来看，我大致地将后面改进方向粗略地分成四个（ps:当然本人看的文献有限，存在缺漏，有不对的或者其他更加有趣的点，欢迎学习交流!）：

1. 怎么设置位置编码，也就是PE。常见的PE编码设置有很多，比如Local PE, Global PE和Relative PE。PE的方式很多，而且很多来源于Transformer的文章，这里我就不找对应的论文来介绍了。在篇章1中，我们知道论文GraphTrans中并没有采用PE，而是采用像VIT一样的[CLS]，这样子的[CLS]处理方式可以实现：在聚合信息时，可以实现排列不变性，也就是在不考虑节点重要性的情况下，属于同一类型同一阶的邻居节点没有优先级的区分。
2. 怎么融入拓扑结构信息。拓扑结构信息是指边的属性/特征，图路径的属性/特征，拓扑空间的属性，或者图的频谱性等。在多数论文中，常见的就有将边的特征（也就是边的权重矩阵）添加至attetion里面，还有的就是利用结构编码SE实现结构信息的融入，或者是先通过学习子图结构的信息，再进Transformer机制。对于SE，同样常见的也有Local SE, Global SE和Relative SE。最后，还有的论文是把空间上的拓扑特征也添加至attention里面。比如说这里我要讲的第一篇论文Graphormer。
3. 怎么考虑更复杂的图属性/结构。要知道在现实中，图多数是异质图，包含多种类型的边/路径，而且不同的节点之间的重要性应该是不一样的。所以，针对多关系的局限，有的研究会考虑关系编码RE或者边类型编码（这个我也把它称之为RE，因为边本身也可以看出一种关系）。针对节点类型/重要性，有的研究会添加类型编码，重要性编码来解决。其中，重要性编码同样在Graphormer中也有应用。
4. 怎么结合GNN和Transformer。早期多数的研究都是直接GNN拼接Transformer。其实还有更多结合的方式，这也是本博文想要介绍GraphFormer论文的原因。

基于上面的介绍，其实我想分享的这两篇论文的理由也十分清晰了。后面就来看看这两篇文献吧。

论文信息概览

在介绍之前，我们先概览一下这两篇文章的信息。

可以发现这两篇文献都是NeurlPS 2021的文章，但它们的驱动任务是不同的。Graphormer是在化学分子评分的场景下提出，主要做的是图层面的回归任务，而GraphFormer则是边层面上的任务，做的是边预测，主要应用在文本场景中。在下面的笔记中，笔者我只介绍和概括笔者认为比较重要的内容，对于细节部分，大家感兴趣的话，建议直接看原论文。

Graphormer

论文信息概览

• paper name:《Do Transformers Really Perform Bad for Graph Representation?》

• 原文链接：https://proceedings.neurips.cc/paper/2021/file/f1c1592588411002af340cbaedd6fc33-Paper.pdf

• 源码链接：https://github.com/Microsoft/Graphormer.

• 来源：大连科大, NeurIPS

• 数据背景：Kaggle比赛，化学分子评分背景

• 年限：2021

论文核心要点介绍

Graphormer论文不得不夸一下这篇论文的图

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/知新_RL/article/detail/86882