阅读--2020-8-7 CCFA Modeling Long- and Short-Term Temporal Patterns with Deep Neural Networks_输出规模对输入不敏感

用深度神经网络对长短时间模型建模

提出了两个模型LSTNet-S 和 LSTNet-A

模型包含两个部分：分别是非线性变化部分和线性变化部分

线性部分使用AR模型解决神经网络模型的规模不敏感问题

 

1、摘要

• 文章主题思想：
  • LSTNet 使用卷积神经网络和循环神经网络来提取短期局部变量之间的依赖、发掘长期时序趋势
  • 为了进一步提高鲁棒性，集成了AR 自回归线性模型，与非线性神经网络部分并行

2、介绍：背景、相关工作

• ARIMA（AR、MA、ARMA）
• VAR
• SVR
• Ridge regression
• Gaussian Processes

3、模型架构：

• CNN
  • 局部变量之间的依赖关系
• RNN
  • 发掘长期时序趋势
• 自回归分量
  • 神经网络输出的规模对输入的规模不敏感
  • 所以引入AR使得最终输出是线性与非线性的组合
• 最终输出
  • 使用 dense layer 即全连接层来连接两个自注意力层模块，获得其基础预测结果

 

2020-8-21 CCFB Temporal pattern attention for multivariate time series forecasting

这篇文章是上述文章的改进，主要是提出了更加新颖的注意力机制，但是文章晦涩，在数据集上进行创新

且可以让模型自主选择合适的周期模式，具有更好的适应性