深度学习——day42 基于时空Transformer的社交网络信息传播预测模型_transformer社交网络

资源下载

点击下载原文PDF

chap3 基于时空Transformer的社交网络信息传播预测模型

图1，首先，构造了一个由社交图和动态传播图构成的异构图；然后使用 GCN 从异 构图上学习用户的结构特征；再将用户的时序特征和结构特征分别添加位置嵌入，把添加位置嵌入后 的时序特征作为Transformer 的 Query 集，把添加 位置嵌入后的结构特征分别作为 Transformer的 key 和 Value 集；最后用Transformer预测下一个 转发信息的用户．实验中提出了一个新的残差融合 方式，能够有效融合用户的时序特征和结构特征．

3.1 异构图的构建

图2，在异构图中，需 要为每条边分配相应的权重，用传播图中某条 边出现的次数作为异构图中该边的权重

3.3 时空 Transformer 神经网络

图3，Transformer中的 decoder 层由N层叠加，来进行最后的序列任务预测

1. 式（2）， 带掩码的多头注意力层：
2. 式（7），在经过多头注意力层之后，会使用残差网络来 强化用户特征，Fusion：优化后的残差融合方式
   #chap4 实验结果及分析

4.1 对比方法和参数设置

1. 与最新的信息 传播预测深度学习方法进行比较
2. 利用２个广泛使用的排名指标 Map＠k和 Hits＠k进行评估

4.4 实验结果

1. Table 2、3、4，STT 模型不仅利用社交网络信息， 而且还利用传播图来建模信息传播行为，显著提高了预测性能；
2. Tbble 5，STT模型与DyHGCN 模型相比,在Map＠k和 Hits＠k 方面都优于DyHGCN；

4.5 消融实验

Table 6，STT模型及其变体模型在Twitter、Douban数据集上的消融实验：每一处改进对基线模型都有提升

4.6 参数分析

Table 8、9、10、11，研究了超参数的不同选择对模型性能的影响．