注意力机制代码_深入理解图注意力机制

作者：运维做开发 | 2024-07-31 04:40:41

踩

train mask val mask test mask

我和人民邮电出版社搞了图神经网络的课程，刚上线，打折中。。。有兴趣的可以看一下 https://www.epubit.com/courseDetails?id=PCC72369cd0eb9e7

本文主要从下面3个方面分析了 18ICLR 图注意力网络 Graph Attention Network, 并附上了代码解析.

非对称的注意权重
可有可无的LeakyRelu?
Transformer Vs GAT

介绍

图神经网络已经成为深度学习领域最炽手可热的方向之一。作为一种代表性的图卷积网络，Graph Attention Network (GAT)引入了注意力机制来实现更好的邻居聚合。通过学习邻居的权重，GAT可以实现对邻居的加权聚合。因此，GAT不仅对于噪音邻居较为鲁棒，注意力机制也赋予了模型一定的可解释性。

下图概述了Graph Attention Network主要做的事情。

针对节点

和节点

， GAT首先学习了他们之间的注意力权重

(如左图所示)；然后，基于注意力权重

来对节点

的表示

加权平均，进而得到节点

的表示

。

深入理解图注意力机制

非对称的注意权重

首先，介绍下如何学习节点对

之间的注意力值

。很明显，为了计算

，注意力网络

需要同时考虑两个节点的影响，如下式：

其中，

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/运维做开发/article/detail/907055