深度学习----时间序列预测应用_利用深度学习实现根据矩阵x对y的时间序列预测

本文介绍了深度学习模型在时间序列预测问题中的应用:

主要包括RNN、CNN、Transformer、Nbeats等4种类型模型，以及12篇相关顶会论文，全面掌握深度学习时间序列预测方法。

RNN时序预测模型：

DeepAR: Probabilistic Forecasting with Autoregressive Recurrent Networks（2017）

Deep State Space Models for Time Series Forecasting（NIPS 2018）

A Multi-Horizon Quantile Recurrent Forecaster（NIPS 2017）

SegRNN: Segment Recurrent Neural Network for Long-Term Time Series Forecasting（ICLR 2024）

WITRAN: Water-wave Information Transmission and Recurrent Acceleration Network for Long-range Time Series Forecasting（NeurIPS 2023）

CNN时序预测模型：

An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling（2019）

Towards Better Forecasting by Fusing Near and Distant Future Visions（AAAI 2020）

Transformer时序预测模型：

Deep Transformer Models for Time Series Forecasting: The Influenza Prevalence Case（2020）

关键：采用了和GPT相似的Transformer结构尝试了时间序列预测任务，取得较好效果。

备注：然而，在时间序列预测任务中，样本点的序列位置关系非常重要，Transformer虽然通过Attention机制实现了超长周期的特征对齐，位置信息只能依赖于position emedding，影响了Transformer在时间序列预测中的应用。针对这个问题，业内主要采用CNN+Transformer或LSTM+Transformer相结合的方式，使序列模型的序列建模能力和Attention模型的超长周期信息提取能力互补。

Enhancing the Locality and Breaking the Memory Bottleneck of Transformer on Time Series Forecasting（NIPS 2019）

关键：提出使用CNN和Transformer结合的方法。

备注：模型结构如下图所示，CNN模型增强了上下文信息的提取能力，左图中CNN尺寸为1，即无卷积的情况下，每个时刻的特征单独进入Transformer，当两个时刻的特征相似时，由于上下文环境（即前后时刻的值）不同，因此这两个时刻表达的信息不同，而左侧模型无法提取这个信息。右侧模型使用了尺寸为3的卷积，刻画了上下文信息不同的时刻不同的信息，能够更好发掘具有相似规律的序列片段。

Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting（2019）

关键：提出了LSTM和Transformer结合的方法。

备注：模型体层采用LSTM结构，利用LSTM的序列建模能力，先对输入序列进行预处理，这样不同时刻生成了考虑上下文和时序信息的表示。接下来底层表示输入到上层Transformer中，利用Attention的超长周期信息提取能力弥补序列模型信息遗忘的问题。

 Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting（AAAI 2020）

关键：提出了一种针对长周期预估的Transformer的升级版。

备注：为了让Transformer在长周期预估中提升运行效率，提出了ProbSparse self-attention，通过让key只和关键query形成稀疏的attention减少大量运算量。

iTransformer: Inverted Transformers Are Effective for Time Series Forecasting（ICLR 2024）

关键：反相变压器对时间序列预测有效

备注：文提出了iTransformer模型，通过将时间序列中的每个变量独立嵌入为变量子token，并应用自注意力机制和前馈网络来学习非线性表示，有效地捕捉多变量相关性并提高预测性能。iTransformer在具有挑战性的真实数据集上实现了最先进的技术，增强了Transformer系列的性能、泛化能力以及对任意回溯窗口的利用，使其成为时间序列预测的基本支柱。

Multi-scale Transformers with Adaptive Pathways for Time Series Forecasting（ICLR 2024）

关键：具有自适应路径的多尺度变换器用于时间序列预测

简述：本文提出了Pathformer，一种具有自适应通路的多尺度Transformer模型，用于时间序列预测。该模型通过将时间序列划分为不同尺度的斑块并进行双重注意力机制，捕捉全局和局部特征。自适应路径进一步优化了多尺度建模过程，提升了预测精度和泛化性。实验证明，Pathformer在多个真实数据集上超越了当前所有模型，展现了卓越的性能和泛化能力。

 Crossformer: Transformer Utilizing Cross-Dimension Dependency for Multivariate Time Series Forecasting（ICLR 2023）

关键：利用跨维依赖进行多变量时间序列预测的转换器

备注：本文提出了一种基于Transformer的模型Crossformer，专为多变量时间序列（MTS）预测而设计，它通过DSW嵌入方法将MTS数据转为2D阵列，并使用两阶段注意力（TSA）层捕捉时间和跨维度依赖。该模型采用了分层编码器-解码器（HED）框架，以便有效地利用不同尺度的信息进行预测。实验结果表明，Crossformer 在真实世界数据集上的表现优于之前的技术。

FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting（ICML 2022）

关键：用于长期序列预测的频率增强型分解变压器

备注：本文提出了一种新的时间序列预测方法FEDformer，结合了Transformer和季节性趋势分解，以捕捉时间序列的全局趋势和细节结构。利用时间序列在傅里叶变换中的稀疏表示，FEDformer提高了长期预测的效率和准确性，具有线性复杂度。实验显示，FEDformer在多变量和单变量时间序列预测上的表现优于现有技术，显著降低了预测误差。

 

多元时序预测模型：

TSMixer: An all-MLP Architecture for Time Series Forecasting（KDD 2023）

关键：用于时间序列预测的全 MLP 架构

备注：本文研究了线性模型在时间序列预测中的应用，并介绍了新型架构——时间序列混频器（TSMixer），它采用多层感知器（MLP）堆叠设计，通过混合时间和特征维度信息来高效提取数据特征。在多个基准测试中，TSMixer的简单实现与专用于特定任务的先进模型相当，甚至在真实零售数据集M5上超越了其他最先进模型。

FourierGNN：Rethinking Multivariate Time Series Forecasting from a Pure Graph Perspective（NeurIPS 2023）

关键：从纯图的角度重新思考多变量时间序列预测

备注：本文提出了傅里叶图神经网络（FourierGNN），一种新的多变量时间序列预测方法，通过将每个序列值视为图节点并将滑动窗口表示为时空全连接图，统一考虑时空动态。FourierGNN通过堆叠文中提出的傅里叶算子（FGO）在傅里叶空间中执行矩阵乘法，具有低复杂度和高效的表达能力。实验结果表明，FourierGNN在预测性能、效率和参数数量上优于最先进的方法。

Pre-training Enhanced Spatial-temporal Graph Neural Network for Multivariate Time Series Forecasting（KDD 2022）

关键：面向多变量时间序列预测的预训练增强时空图神经网络

备注：本文提出了一种新的框架，通过可扩展的时间序列预训练模型（STEP）增强时空图神经网络（STGNNs），以处理长期历史时间序列数据。STEP模型从过去两周的历史数据中学习时间模式，生成片段级表示，为STGNNs提供上下文信息，促进时间序列依赖关系的建模。实验表明，这个框架显著增强了STGNNs的性能，预训练模型有效地捕获了时间模式。

 Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks（KDD 2020）

关键：多元时间序列预测与图神经网络

备注：本文提出了一种针对多变量时间序列数据设计的通用图神经网络框架，通过图学习模块自动提取变量间的单向关系，并允许集成外部知识。该方法结合了混合跳跃传播层和膨胀起始层，以捕获时间和空间依赖性。实验结果显示，该模型在多个基准数据集上优于最先进的方法，并在提供额外结构信息的交通数据集上与其他方法性能相当。

 

Nbeats时序预测模型：

N-BEATS: NEURAL BASIS EXPANSION ANALYSIS FOR INTERPRETABLE TIME SERIES FORECASTING（ICLR 2020）

关键：提出Nbeats模型，该模型内部结构中没有RNN、CNN或Attention，网络全部为全连接组成，在一些开源数据集上取得较好效果。

备注：Nbeats的核心思路是，多个Block串联，每个Block学习序列的一部分信息，在下一个Block的输入会去掉之前Block已经学到的信息，只拟合之前Block未学到的信息，类似于GBDT的思路。最后再把各个Block的预估结果加和得到最终预估结果。

Neural basis expansion analysis with exogenous variables: Forecasting electricity prices with NBEATSx（2022）

关键：在初版Nbeats基础上增加了引入外部特征的能力

FC-GAGA: Fully Connected Gated Graph Architecture for Spatio-Temporal Traffic Forecasting（AAAI 2021）

关键：又提出了Nbeats结合图学习的模型，让Nbeats能够应用于交通预测等这种存在Spatial-Temporal关系的任务。