ETSformer: Exponential Smoothing Transformers for Time-series Forecasting

ETSformer: Exponential Smoothing Transformers for Time-series Forecasting （ICML2022）

近年来，transformer在时间序列预测方面得到了积极的研究。虽然在各种场景中往往显示出有希望的结果，但传统的transformer不是为了充分利用时间序列数据的特征而设计的，因此受到一些基本限制，例如，它们通常缺乏分解能力和可解释性，对于长期预测既无效也低效。本文提出ETSFormer，一种新的时间序列Transformer架构，利用指数平滑的原理来改进时间序列预测的Transformer。受时间序列预测中经典指数平滑方法的启发，提出了新的指数平滑注意力(ESA)和频率注意力(FA)来取代vanilla transformer中的自注意力机制，从而提高了精度和效率。在此基础上，用模块化分解块重新设计了Transformer架构，使其可以学习将时间序列数据分解为可解释的时间序列组件，如水平、增长和季节性。在不同时间序列上的大量实验验证了所提方法的有效性和优越性。我们实现的代码和模型将被发布。 

 具体内容

本文提出ETSformer，一种用于时间序列预测的有效和高效的Transformer架构，受指数平滑方法的启发(Hyndman等人，2008)&#x