论文总结 (一)：Fi-GNN——通过GNN对特征交互建模进行CTR预测

一. CTR（Click-through rate）简介

• CTR=实际点击数/点击率；
• CTR预测是一个分类问题 ，预测用户是否点击目标项目；
• 是一个重要任务在推荐系统和在线广告平台等。

二. Fi-GNN

2.1 已有模型的缺点

特征之间的交互是灵活显性的，而无结构的特征组合无法很好地进行提取。

2.2 Fi-GNN的创新点

• 在图结构上以更灵活和明确的方式对特征之间的复杂交互进行建模。
• 图(graph)中的每个节点(node)都对应一个特征(field)，并且不同的特征可以通过边(edge)进行交互。 因此，可以将对特征之间的复杂交互转换为对特征图上的节点的交互。
• 在每个时间步，节点都与邻居进行更深一层的交互。 特征交互程度量等于交互步数。
• 边的权重代表了不同特征进行交互的重要性，节点的权重代表了每个特征的重要性。

2.3 具体做法

• 1. Embedding Layer

$$\text{E}=[{\text{e}}_1,{\text{e}}_2,{\text{e}}_3,\dots ,{\text{e}}_m],{\text{e}}_i\in {\mathbb{R}}^d,\text{E}\in {\mathbb{R}}^{d\times m}$$

• 2. Multi-head Self-attention Layer

  通过多头注意力机制捕捉成对特征的复杂依赖
  $${\text{H}}_i=softma{x}_i(\frac{\text{Q}{\text{K}}^T}{\sqrt{d_{\text{K}}}})\text{V},{\text{H}}_i\in {\mathbb{R}}^{m\times d_i}$$
  $$\text{Q}={{\text{W}}_i}^{(\text{Q})}\text{E},\text{K}={{\text{W}}_i}^{(\text{K})}\text{E},\text{V}={{\text{W}}_i}^{(\text{V})}\text{E}$$
  $$where{{\text{W}}_i}^{(\text{Q})},{{\text{W}}_i}^{(\text{K})},{{\text{W}}_i}^{(\text{V})}\in {\mathbb{R}}^{d_i\times d}$$
  $${\text{H}}^1=RELU(H_1\oplus H_2\oplus ...\oplus H_h)$$

• 3. 构建Feature Graph

  加权的全连接图，其中边的权重则反映了不同特征交互的重要性。

• 4. Feature Interaction Graph Neural Network

在每个交互步(interaction step)中，每个节点聚合邻居节点的状态信息，然后根据其聚合信息和历史信息通过GRU和残差连接更新其节点状态。
加权的全连接图，其中边的权重则反映了不同特征交互的重要性。

• 1). 状态聚合（在交互步骤t，每个节点将汇总来自邻居的状态信息）

  转换函数和邻接矩阵决定节点的交互作用。
  

  a. 邻接函数
  

  b. 转换矩阵
  

• 2). 状态更新

• 5. Attentional Scoring Layer （a graph-level output to predict CTR）