Informer开源项目(3)_informerstack

【数据集介绍】

ETT数据集——电力变压器数据集 （url : https://github.com/zhouhaoyi/ETDataset)

为了解决不同地区的电力分配问题，需要提前预测特定地区的电力需求情况。该团队认为油温（数据集中的OT列）可以反映变压器的用电情况，只要油温安全就可以避免电力变压器的损坏。该团队收集了中国两个不同县的两年数据，制作了以下数据集。训练/验证/测试集分别为 12/4/4 个月。

数据集的各列解释如下，在这个例子里我们用高中低三个层次的负载值预测OT油温（通过油温反应电力变压器是否安全）。

不是专业领域的伙伴可以不用在意各列的实际意义，只要明确我们数据集有8列，1列时间，使用其中6列特征的值，来预测最后一列的OT值即可。

【模型选择】

• Informer：基础的 informer 模型，它是为长期时间序列预测设计的。Informer 使用了一种特殊的概率稀疏注意力机制来有效处理长序列数据。这个模型适用于需要处理大量时序数据并进行未来预测的任务，比如气象预报、股票市场分析等。
• InformerStack：informer 模型的一个变体，它使用了多个编码器层堆叠在一起。这
  种结构设计使得模型能够捕捉更复杂的时间序列数据特征。InformerStack 适用于那些需要从时间序列中提取更深层次、更复杂模式的场景，例如复杂的财经数据分析或高级气候模式预测。
• InformerLight：更轻量级版本，来减少计算资源，同时保证合理的预测准确性。

【代码】

1、读取数据

import pandas as pd
df_ETT_h = pd.read_csv('data/ETTh1.csv')
data1 = df_ETT_h.head(10)
data1

2、参数设置

import argparse
import os
import torch
 
parser = argparse.ArgumentParser(description='[Informer] Long Sequences Forecasting')
#这里有三个模型可以选择，默认是Informer模型
parser.add_argument('--model', type=str, required=True, default='informer',help='model of experiment, options: [informer, informerstack, informerlight(TBD)]')
#训练出来的模型保存路径
parser.add_argument('--checkpoints', type=str, default='./checkpoints/', help='location of model checkpoints')
 
#想要用官方定义的方法还是你自己的数据集进行定义数据加载器，如果是自己的数据集就输入custom
parser.add_argument('--data', type=str, required=True, default='ETTh1', help='data')
#数据集文件的路径，不要到具体的文件，到目录级别即可
parser.add_argument('--root_path', type=str, default='data', help='root path of the data file')
#数据集文件的名称
parser.add_argument('--data_path', type=str, default='ETTh1.csv', help='data file')    
#特征有三个选项M，MS，S。分别是多元预测多元，多元预测单元，单元预测单元
parser.add_argument('--features', type=str, default='M', help='forecasting task, options:[M, S, MS]; M:multivariate predict multivariate, S:univariate predict univariate, MS:multivariate predict univariate')
#数据集中想要预测那一列数据名称，指定标签
parser.add_argument('--target', type=str, default='OT', help='target feature in S or MS task')
#时间的间隔，数据集每一条数据之间的时间间隔，默认为小时，可以自己设定秒，年，月，日，周等
parser.add_argument('--freq', type=str, default='h', help='freq for time features encoding, options:[s:secondly, t:minutely, h:hourly, d:daily, b:business days, w:weekly, m:monthly], you can also use more detailed freq like 15min or 3h')
 
#用过去的多少条数据来预测未来的数据，也就是encoder输入序列的长度
parser.add_argument('--seq_len', type=int, default=96, help='input sequence length of Informer encoder')
# Decoder中输入的没有掩码部分序列长度
parser.add_argument('--label_len', type=int, default=48, help='start token length of Informer decoder')
#预测未来多少个时间点的数据，Decoder输入中用0掩码的序列长度
parser.add_argument('--pred_len', type=int, default=24, help='prediction sequence length')
# Informer decoder input: concat[start token series(label_len), zero padding series(pred_len)]
#输入数据的特征数量，要减去时间的那一列，encoder和decoder是一样的
parser.add_argument('--enc_in', type=int, default=7, help='encoder input size')
parser.add_argument('--dec_in', type=int, default=7, help='decoder input size')
#输出数据的维度
#如果features填写的是M那么和上面就一样，是数据列数，如果填写的MS那么这里要输入1因为你的输出只有一列数据。
parser.add_argument('--c_out', type=int, default=7, help='output size')
#编码器中使用的注意力类型，默认为"prob"论文的主要改进点，提出的注意力机制
parser.add_argument('--attn', type=str, default='prob', help='attention used in encoder, options:[prob, full]')
#设置注意力机制中的d_model，默认值为512。可以根据需要调整该参数的数值来改变模型的维度
parser.add_argument('--d_model', type=int, default=512, help='dimension of model')
#设置模型中的注意力头数，默认值为8
parser.add_argument('--n_heads', type=int, default=8, help='num of heads')
#设置编码器的层数，默认为2层
parser.add_argument('--e_layers', type=int, default=2, help='num of encoder layers')
#设置解码器的层数，默认为1层
parser.add_argument('--d_layers', type=int, default=1, help='num of decoder layers')
#设置堆叠编码器的层数
parser.add_argument('--s_layers', type=str, default='3,2,1', help='num of stack encoder layers')
#模型中全连接网络（FCN）的维度，默认值为2048
parser.add_argument('--d_ff', type=int, default=2048, help='dimension of fcn')
#是否在编码器中使用蒸馏操作，默认为True也是论文中比较重要的一个改进
parser.add_argument('--distil', action='store_false', help='whether to use distilling in encoder, using this argument means not using distilling', default=True)
#激活函数，在不同的位置使用了不同的激活函数，我们在代码中看具体激活函数的使用
parser.add_argument('--activation', type=str, default='gelu',help='activation')
 
#是否使用GPU训练，根据自身来选择
parser.add_argument('--use_gpu', type=bool, default=True, help='use gpu')
#GPU的编号
parser.add_argument('--gpu', type=int, default=0, help='gpu')
#是否使用多个GPU训练。
parser.add_argument('--use_multi_gpu', action='store_true', help='use multiple gpus', default=False)
parser.add_argument('--devices', type=str, default='0,1,2,3',help='device ids of multile gpus')
 
#是否进行预测
parser.add_argument('--do_predict', action='store_true', help='whether to predict unseen future data')
#自注意力中的因子，默认值为5
parser.add_argument('--factor', type=int, default=5, help='probsparse attn factor')
#填充类型，默认值为0，如果不够数据就填写0
parser.add_argument('--padding', type=int, default=0, help='padding type')
#丢弃的概率，防止过拟合
parser.add_argument('--dropout', type=float, default=0.05, help='dropout')
#时间特征的编码方式，默认为"timeF"
parser.add_argument('--embed', type=str, default='timeF', help='time features encoding, options:[timeF, fixed, learned]')
#是否在编码器中输出注意力，默认为False
parser.add_argument('--output_attention', action='store_true', help='whether to output attention in ecoder')
#在生成式解码器中是否使用混合注意力，默认为True
parser.add_argument('--mix', action='store_false', help='use mix attention in generative decoder', default=True)
#从数据文件中选择特定的列作为输入特征，不常用
parser.add_argument('--cols', type=str, nargs='+', help='certain cols from the data files as the input features')
#线程数量。windows最好设置成0避免报线程错误,linux系统可随便设置
parser.add_argument('--num_workers', type=int, default=0, help='data loader num workers')
#实验运行的次数，默认为2
parser.add_argument('--itr', type=int, default=2, help='experiments times')
#训练的次数
parser.add_argument('--train_epochs', type=int, default=6, help='train epochs')
#一次往模型内输入多少数据
parser.add_argument('--batch_size', type=int, default=32, help='batch size of train input data')
#早停机制，如果损失多少个epochs没有改变就停止训练
parser.add_argument('--patience', type=int, default=3, help='early stopping patience')
#学习率
parser.add_argument('--learning_rate', type=float, default=0.0001, help='optimizer learning rate')
#实验描述，默认为"test"
parser.add_argument('--des', type=str, default='test',help='exp description')
#损失函数，默认为"mse"
parser.add_argument('--loss', type=str, default='mse',help='loss function')
#学习率的调整方式，默认为"type1"
parser.add_argument('--lradj', type=str, default='type1',help='adjust learning rate')
#混合精度训练
parser.add_argument('--use_amp', action='store_true', help='use automatic mixed precision training', default=False)
#是否将归一化后的数据转换为原始值
parser.add_argument('--inverse', action='store_true', help='inverse output data', default=False)

3、参数加载

args = parser.parse_args(args=["--model", "informer", 
                               "--data", "ETTh1",
                               "--attn", 'prob',
                               "--freq", "h"])
 
# 打印看一下现在的参数情况，其余没有指定的参数都会按照上面默认的参数来赋值。
from pprint import pprint
pprint(args._get_kwargs())
 
args.s_layers = [int(s_l) for s_l in args.s_layers.replace(' ','').split(',')]
args.detail_freq = args.freq
args.freq = args.freq[-1:]
 
print('Args in experiment:')
print(args)
 
"""
自己的csv数据集
这里我们使用WTH天气数据集为例，看一下更换为自己的数据集进行Informer预测实验的时候应该如何更改上面默认的这部分参数。
* 这里关注如果用自己的数据集“--data”一定要填“custom”
* 数据集位置和名称：数据集存储于data文件夹下，名称是“WTH.csv”
* 数据集的时间间隔：h（小时）每 1 小时收集一次数据点
* 数据集中想要预测的那一列的列名：“WetBulbCelsius”
* 想要通过什么来预测什么：通过其余 11 个气候特征预测“WetBulbCelsius”这个气候特征。
* 数据集总共有12列（不包含时间列），"--enc_in""--dec_in"均填写12
* 使用MS的方式，用11个特征预测1个特征，是多元预测单元。"--c_out"为1，只预测一个特征。
args = parser.parse_args(args=["--model", "informer", 
                               "--data", "custom",
                               "--root_path", "./data/",
                               "--data_path", "WTH.csv",
                               "--features", "MS",
                               "--target", "WetBulbCelsius",
                               "--data_path", "WTH.csv",
                               "--seq_len", '20',
                               "--label_len", '10',
                               "--pred_len", '5',
                               "--enc_in", '12',
                               "--dec_in", '12',
                               "--c_out", '1',
                               "--freq", "h",
                               "--attn", 'prob'
                               ])
"""

4、训练

from exp.exp_informer import Exp_Informer
 
Exp = Exp_Informer
 
# 设置settings
setting = '{}_{}_ft{}_sl{}_ll{}_pl{}_dm{}_nh{}_el{}_dl{}_df{}_at{}_fc{}_eb{}_dt{}_{}'.format(args.model
                                                                                             , args.data, args.features
                                                                                             , args.seq_len, args.label_len
                                                                                             , args.pred_len
                                                                                             , args.d_model, args.n_heads
                                                                                             , args.e_layers
                                                                                             , args.d_layers, args.d_ff, args.attn
                                                                                             , args.factor, args.embed
                                                                                             , args.distil, args.des)
 
# set experiments实例化上面的实验
exp = Exp(args)
 
# train
print('>>>>>>>start training : {}>>>>>>>>>>>>>>>>>>>>>>>>>>'.format(setting))
exp.train(setting)
 
# test
print('>>>>>>>testing : {}<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<'.format(setting))
exp.test(setting)
 
torch.cuda.empty_cache()

5、预测

import os
 
# set saved model path
setting = 'informer_ETTh1_ftM_sl96_ll48_pl24_dm512_nh8_el2_dl1_df2048_atprob_fc5_ebtimeF_dtTrue_test'
 
exp = Exp(args)
exp.predict(setting, True)
 
# the prediction will be saved in ./results/{setting}/real_prediction.npy
import numpy as np
 
prediction = np.load('results/'+setting+'/real_prediction.npy')
 
print(prediction.shape)

输出：（1， 24， 7）

prediction[0,:,-1]: 提取了第一个批次所有时间步的最后一个特征值。，具体来说：

0 表示选择prediction数组的第一个元素（指的是第一个批次的预测结果）。

: 表示选择这个批次所有的时间步。

-1 表示选择每个时间步的最后一个特征

6、可视化

import matplotlib.pyplot as plt
 
plt.figure()
plt.plot(prediction[0,:,-1])
plt.show()

横坐标（X轴）：代表时间步，共计5个时间步。

纵坐标（Y轴）：代表在每个时间步的最后一个特征的值。也就是“预测结果”。（这里没有对标准化的结果进行反向缩放）

preds = np.load('results/'+setting+'/pred.npy')
trues = np.load('results/'+setting+'/true.npy')
 
# [samples, pred_len, dimensions]
preds.shape, trues.shape
# output：((2848, 24, 7), (2848, 24, 7))

用同样的方式，看一下不同批次（10.20.30批次）的预测结果和真实值对比。

plt.figure()
plt.plot(trues[10,:,-1], label='GroundTruth')
plt.plot(preds[10,:,-1], label='Prediction')
plt.legend()
plt.show()

plt.figure()
plt.plot(trues[30,:,-1], label='GroundTruth')
plt.plot(preds[30,:,-1], label='Prediction')
plt.legend()
plt.show()

最后我们看一下所有批次数据的对比结果。

plt.figure(figsize=(20,5))
 
plt.plot(trues[:,0,-1].reshape(-1), label='GroundTruth')
plt.plot(preds[:,0,-1].reshape(-1), label='Prediction')
plt.legend()
plt.show()