- 1CentOS7之Dify部署_centos 7 安装dify
- 2Java面试题大全带答案，juc并发编程面试题_java juc面试题
- 3springboot 使用 ClassFinal加密在Windows下配置jar包
- 4Spark学习笔记-键值对操作_spark为包含键值对(key-value)类型的rdd提供了一些专有的操作,这些rdd被称为pai
- 5人工智能 vs. 机器学习 vs. 深度学习有什么区别？_人工智能(ai)、机器学习(ml)、深度学习(dl) gpt3
- 6密码学_SM2和SM9_sm2 sm9
- 7C++学习/复习21--多态定义/虚函数与重写/虚函数表/单继承多继承的多态/抽象类/面试题
- 8C++中现成的hash函数
- 9【MySQL】 MySQL 导出数据库
- 10CDR软件2024中文破解版Crack下载安装全攻略！
图注意力网络(Graph Attention Network, GAT) 模型解读与代码实现(tensorflow2.0)_gat tensorflow实现
赞
踩
前面的文章，我们讲解了图神经网络三剑客GCN、GraphSAGE、GAT中的两个：
本要讲的是GAT(Graph Attention Network)，它使用 Attention 机制来对邻居节点进行加权求和，和一般的Attention 机制一样，分为计算注意力系数和加权求和两个步骤。
GAT中的 Attention 机制
先来看看每一层的输入与输出：
input : h = { h ⃗ 1 , h ⃗ 2 , … , h ⃗ N } , h ⃗ i ∈ R F output : h ′ = { h ⃗ 1 ′ , h ⃗ 2 ′ , … , h ⃗ N ′ } , h ⃗ i ′ ∈ R F \text { input }: \mathbf{h}=\left\{\vec{h}_{1}, \vec{h}_{2}, \ldots, \vec{h}_{N}\right\}, \vec{h}_{i} \in \mathrm{R}^{F} \\ \text { output }: \mathbf{h}^{\prime}=\left\{\vec{h}_{1}^{\prime}, \vec{h}_{2}^{\prime}, \ldots, \vec{h}_{N}^{\prime}\right\}, \vec{h}_{i}^{\prime} \in \mathrm{R}^{F} input :h={
h
1,h
2,…,h
N},h
i∈RF output :h′={
h
1′,h
2′,…,h
N′},h
i′∈RF
1. 计算注意力系数
首先计算顶点 i i i 与周围邻居节点 j ∈ N i j \in \mathcal N_i j∈Ni 的相似度：
e i j = a ( W h ⃗ i , W h ⃗ j ) e_{i j}=a\left(\mathbf{W} \vec{h}_{i}, \mathbf{W} \vec{h}_{j}\right) eij=a(Wh
