【论文阅读】TransGNN

一、摘要

本文主要是在推荐系统中对GNN的改进。在协同过滤中，主要是对用户-项目交互图进行建模。但是基于GNN的方法遇到了有限的接受域和嘈杂的“兴趣无关”连接的挑战。相比之下，基于Transformer的方法擅长于自适应地和全局地聚合信息但是在大规模交互图中的应用由于捕获复杂的纠缠结构信息的固有复杂性和挑战而受到阻碍。在本文中，我们提出了一种新的TransGNN模型，它交替地集成了Transformer层和GNN层，以相互增强它们的能力：TransGNN利用Transformer层来拓宽接受域，并从边缘分离出信息聚合，从而聚合来自更相关节点的信息，从而增强GNN的消息传递。此外，为了有效地捕获图结构信息，并集成到GNN层中，将结构知识编码到节点属性中，从而提高了变压器在图上的性能。通过提出对Transformer最相关节点的采样，以及两种有效的样本更新策略来降低复杂性，也减轻了效率的考虑。

二、现有问题：

1、消息传递机制依赖于边来融合图的结构和节点属性，导致强偏差和潜在的噪声。
2、由于对流行项目的过度推荐，用户可能会与他们不感兴趣的产品进行交互，从而导致在用户-项目交互图中形成“与兴趣无关的连接”
3、嵌入沿着边缘的传播可能会加剧噪声效应，潜在地扭曲了基于gnn的模型中潜在用户兴趣的编码。
4、GNN的最佳层数是3层，对于长期序列消息捕获效果不好
由于自注意机制，每个项目都可以从用户-项目交互序列中聚合所有项目的信息。因此，Transformer可以捕获序列数据中的长期依赖关系，并取代了卷积和递归神经网络。但是它们有效利用图结构信息的能力受到了限制，因为它的聚合过程不依赖于边缘，这导致了对关键的历史相互作用的低估。

三、模型结构

三个重要的组成部分：
(1)注意采样模块：通过考虑注意采样模块中的语义相似度和图结构信息，对每个中心节点最相关的节点进行采样
(2)位置编码模块：计算位置编码，以帮助Transformer获取图的拓扑信息
(3) TransGNN模块：(i)Transformer层（扩展接受域），（ii）GNN层（有助于上一层感知图的结构信息），（iii）样本更新子模块（更新了注意样本）

3.1 注意采样模块

用于降级复杂度，从中选取最相关的节点作为注意样本

3.2 位置编码模块

引入了三种针对推荐场景的不同位置编码：
(i)基于最短路径跳的位置编码。
（ii）基于学位的位置编码。
（iii）基于page排名的位置编码。
前两种编码表示用户和项目之间的接近性，强调用户交互的多样性和频率或项目的流行程度。同时，最后一个编码表示由图的拓扑结构所决定的显著性。

3.2.1 最短路径跳

对于每个用户，到不同项目的距离（反之亦然）可能有不同的含义。将最短路径跳矩阵表示为P，对于每个节点