Transformer在时间序列预测中不如线性模型？ICLR 2023最新回应来了！

自从时间序列预测论文Are transformers effective for time series forecasting?（2022）中以一个简单模型打败了复杂的Transformer模型后，关于Transformer是否适用于时间序列预测任务成为学术界一个主要争论点。

ICLR 2023上的一篇文章A TIME SERIES IS WORTH 64 WORDS: LONG-TERM FORECASTING WITH TRANSFORMERS（ICLR 2023）中，提出了基于Transformer时序预测和时序表示学习新方法，将时间序列数据转换成类似Vision Transformer中的patch形式，取得非常显著的效果。从论文题目也可以看出，这篇文章和CV领域经典论文An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale（ICLR 2021）中的Vision Transfomer有着密切关联。下面为大家介绍这篇文章使用Transformer进行时序预测的具体方法。

• 论文标题：A TIME SERIES IS WORTH 64 WORDS: LONG-TERM FORECASTING WITH TRANSFORMERS

• 下载地址：https://arxiv.org/pdf/2211.14730.pdf

1

核心思路

本文提出的Transformer多元时间序列预测模型，核心思路为以下2点：

Patching：原来的时间序列预测方法都是每个time step输入到模型中，这种方式一方面在历史序列比较长的时候运行效率太低，导致无法引入更长的历史序列信息；另一方面每个time step包含的信息量很少，不像NLP中一个token那样有明确意义。因此文中借鉴了Vision Transformer的思路（如下图），也将时间序列分成patch的形式进行建模。

Channel-independence：原来的多元时间序列建模方法中，将多个变量融合到一个embedding建模。而本文采用了channel-independence的方法，即每个变量的序列单独映射到独立的embedding进行建模。

文中也进行了一个case study（如下表），使用channel-independence的方法，以及引入更长的历史序列信息，会带来更好预测的效果。

2

建模方法—时序预测

文中提出的模型名为PatchTST，整体结构如下图。对于原始的多变时间序列，首先拆成多个单变量时间序列，每个单变量序列独立的输入到共享参数的Transformer中，分别产出预测结果，最终再拼接到一起，得到最终的多变量预测结果。

对于一个单变量时间序列，将其分成有重叠或无重叠的patch。每个patch使用一个全连接映射到表示空间。此外，每个patch也会加上position embedding，标记各个patch的顺序。随后，每个单变量的patch序列输入到Transformer模型中进行编码，输出的编码经过全连接得到预测结果。

上面就是PatchTST的基本结构。在损失函数上，本文采用的是MSE。此外，对每个序列采用了Instance Normalization，即将每个序列独立的转换成0均值1方差的标准化序列输入到模型中，预测结果再加回原来的归一化参数，得到最后的预测结果。

3

建模方法—表示学习

在表示学习阶段，本文采用的也是经典的mask patch形式。与预测任务不同的是，在表示学习阶段，patch的划分只能是无重叠的，防止信息的泄露。在经过Transformer编码后，优化目标是还原被mask掉的patch。

相比之前基于Transformer的表示学习方法，之前的方法大都是mask掉某些time step。然而当知道一个序列前后的信息后，预测被mask掉的某个点是很容易的一件事情，这就影响了预训练阶段的学习能力。使用patch维度的mask，是一个更困难的任务，让模型更好的进行表示学习。

4

实验结果

实验部分的核心，一方面是对比了PatchTST直接进行时序预测的效果，另一方面是引入自监督学习后的效果。

首先在直接进行时序预测任务的对比实验中，对比了不同预测长度的效果，以及PatchTST使用不同历史序列长度的效果（64和42代表patch数，对应的使用的历史序列长度分别为512个336）。可以看到，首先PatchTST模型取得了非常显著的效果提升，其次使用更长的历史序列信息也会提升预测效果。

下面是引入预训练后的效果，引入预训练再进行finetune可以进一步提升PatchTST在时序预测上的效果。

最后，文中也对比了PatchTST与不同时间序列预测表示学习方法的效果，也展现出了本文提出的表示学习方法在效果上的优越性。

推荐阅读：
 
我的2022届互联网校招分享
 
我的2021总结
 
浅谈算法岗和开发岗的区别
 
互联网校招研发薪资汇总
2022届互联网求职现状，金9银10快变成铜9铁10！！
 
公众号：AI蜗牛车
 
保持谦逊、保持自律、保持进步
 
发送【蜗牛】获取一份《手把手AI项目》（AI蜗牛车著）
发送【1222】获取一份不错的leetcode刷题笔记
 
发送【AI四大名著】获取四本经典AI电子书