论文阅读--《FourierGNN：从纯图的角度重新思考多元时间序列预测》_gnn时空数据预测

Yi K, Zhang Q, Fan W, et al. FourierGNN: Rethinking multivariate time series forecasting from a pure graph perspective[J]. Advances in Neural Information Processing Systems, 2024, 36.

本次介绍的文章来自NeurIPS 2023，关于多变量时间序列的预测

摘要

痛点问题：当前最先进的基于图神经网络(GNN)的预测方法通常需要图网络(如GCN)和时间网络(如LSTM)来分别捕获序列间(空间)动态和序列内(时间)依赖关系。然而，两种网络的不确定兼容性给手工制作的模型设计带来了额外的负担。此外，分离的时空建模自然违背了现实世界中统一的时空相互依赖关系，这在很大程度上影响了预测效果。

解决方案：从纯图角度重新思考MTS预测

主要内容：首先定义了一种新的数据结构，hypervariate graph，它将每个序列值(无论变量或时间戳)视为一个图节点，并将滑动窗口表示为时空全连接图。该视角统一考虑时空动态，将经典的MTS预测重新表述为对超变量图的预测。然后，我们提出了一种新的傅立叶图神经网络(FourierGNN)架构，通过堆叠我们提出的傅立叶图算子(FGO)在傅立叶空间中执行矩阵乘法。FourierGNN具有较强的表达能力和较低的复杂度，能够有效地完成预测。此外，我们的理论分析揭示了FGO在时域上与图卷积的等价性，进一步验证了FourierGNN的有效性。在七个数据集上进行的大量实验表明，与最先进的方法相比，我们的性能更优，效率更高，参数更少。

一、介绍

多变量时间序列的预测：交通系统中的交通流量预测，天气预报中的温度估计，能源市场中的电力消耗规划等

传统方法：RNN、CNN、Informer ，但没有捕获序列的空间关系

基于GNN预测的方法（如STGCN，TAMPS2GCNets）严重依赖于预定义的图结构来指定；

后来的高级方法(如StemGNN[10]、MTGNN[13]、AGCRN[2])可以在没有预定义先验的情况下自动学习序列间相关性并相应地建模空间动力学，但几乎所有方法都是通过堆叠图网络(如GCN和GAT)来捕获空间动力学，通过堆叠图网络(如LSTM和GRU)来捕获时间依赖性。然而，图网络与时态网络的不确定兼容性给手工模型设计带来了额外的负担，影响了预测效果。

研究问题：即使没有时间网络，纯图网络也能捕获空间动态和时间依赖性吗？

提出的解决方案：提出了一种新的方法，称为傅里叶图神经网络(FourierGNN)。考虑将时域信息转移到频域，在傅里叶空间内利用纯图方法捕获时间序列的时空关系。

 创新点

（1）时间上和空间上分别建图，破坏了时空整体性 -> 因此提出纯图网络捕获空间动态和时间依赖性

（2）纯图网络的特征挖掘开销大，计算成本高 -> 将时域上的计算转移到频域，利用傅里叶图算子（FGO）进行特征挖掘

（3）利用数学知识证明了在傅里叶空间中进行矩阵乘法等价于时间域中的图卷积

（4）实验十分丰富，数据集涵盖范围广，实验对比丰富，消融实验、可解释性实验都很丰富

 二、相关工作

略

三、问题定义

给定一个多变量时间序列输入：

最终的预测任务是： 

 其中F是预测函数，Y是最终的预测值

四、方法

模型整体结构：

 过程：（1）建图：构建全连通变量图 （2）节点嵌入：使用嵌入矩阵为每个节点嵌入d维向量 （3）离散傅里叶变换：将时域转到频域 （4）在傅里叶空间进行一系列递归乘法 （5）进行逆傅里叶变换：转回时域 （6）使用两层前馈网络FNN投影

1、建图

构建一个全连通变量图

 

这里的节点代表每个序列的采样点，边是全连通的，对于一个长度为T有N元的时间序列来说，超图具有NT个节点。

2、节点嵌入和离散傅里叶变换

 使用嵌入矩阵为每个节点分配一个d维向量，即

然后进行离散傅里叶变换：离散傅里叶变换(Discrete Fourier Transform)是信号分析中的一种基本方法，将离散时序信号从时间域变换到频率域，是傅里叶变换在时域和频域都呈离散的形式

3、 傅里叶图算子（Fourier Graph Operator）

给定一个图G=(X,A) 节点特征邻接矩阵引入一个权重矩阵

有一个特定的Green Kernel： 满足关系且（平移不变性）

定义为傅里叶图算子（FGO） 其中F为离散傅里叶变换 将节点特征的傅里叶变换与FGO的乘积表示为：

上述式子的原理来源于卷积定理：它表示两个信号卷积的傅里叶变换等于它们的傅里叶变换在频域中的点积

最终得到频域的卷积公式：

 

4、FourierGNN中的FGO应用

 定义k层傅立叶图神经网络为：

 其中表示第k层的FGO，σ是激活函数，bk是偏置

递归乘法在傅里叶空间中等效于时域中的多阶卷积： 

 

这种方法确保了FourierGNN在傅里叶空间中的操作与传统的时域卷积在理论上的一致性。

5、时间复杂度分析

 假设有