devbox
知新_RL
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

【阅读论文】TimesNet短期预测的基本流程梳理_m4数据集

作者：知新_RL | 2024-04-07 08:47:56

赞

踩

m4数据集

目录

前言

一、run.py

1.args

2.train, test

二、TimesNet_M4.sh

三、exp_short_term_forecasting.py

四、train()

五、TimesNet.py

1.Model

2.TimesBlock

3.FFT_for_Period

前言

果然是初入机器学习的新手，对pycharm、pytorch的套路了解得太少，在学习之路上犯了不少错误，走了不少弯路，虽然现在依旧是个新人，但也还是来做个阶段性的总结，也算是成长的证明。还是以TimesNet为例，下面用基于m4数据集（quarterly类别）的short term forecasting程序来做说明。

一、run.py

主程序，主要是两个部分：args和train, test。

1.args

作用：导入基本参数。

主要代码：

  1. import argparse
  2. parser = argparse.ArgumentParser(description='TimesNet')
  3. parser.add_argument('--属性名', type=类型, default=默认值, help='说明')
  4. args = parser.parse_args()
  5.  
  6. # parser.add_argument中还有一些用的少的参数required, action, nargs

2.train, test

作用：开始训练、测试模型。

主要代码：

  1. setting = '{}_{}_..._{}_{}'.format(args.属性, ..., args.属性)
  2. exp = Exp(args)       # 把args传递给exp_short_term_forecasting
  3. exp.train(setting)    # 用于给checkpoints命名
  4. exp.test(setting)     # 用于给test_results的子文件夹命名
  5. torch.cuda.empty_cache()    # 清空显存缓冲区

二、TimesNet_M4.sh

作用：便于预设参数，批量执行程序。

主要代码：

  1. export CUDA_VISIBLE_DEVICES=0
  2. # 使用的显卡序号，个人电脑的主卡多为“0”，服务器可以按需选择
  3.  
  4. model_name=TimesNet   # 模型的名字
  5.  
  6. python -u run.py \
  7.   --参数名 参数值 \    # 提前设置各种所需参数
  8.   --model $model_name \  # model的名字已经在上面写了
  9.   ...            \
  10.   --参数名 参数值

三、exp_short_term_forecasting.py

作用：短期预测的主要函数。

主要代码：

  1. class Exp_Short_Term_Forecast(Exp_Basic):
  2. # 基于Exp_Basic而新建的类
  3.  
  4.     def __init__(self, args):
  5.     # 初始化
  6.  
  7.     def _build_model(self):
  8.     # 选择TimesNet模型，基于pytorch的nn.Module写的
  9.  
  10.     def _get_data(self, flag):
  11.     # 读取m4数据，基于pytorch的DataLoader写的
  12.  
  13.     def _select_optimizer(self):
  14.     # 选择优化器，直接用pytorch的
  15.  
  16.     def _select_criterion(self, loss_name='MSE'):
  17.     # 选择评价标准/结束标准，MSE是直接用pytorch的
  18.  
  19.     def train(self, setting):
  20.     # 训练模型
  21.  
  22.     def vali(self, train_loader, vali_loader, criterion):
  23.     # 验证模型
  24.  
  25.     def test(self, setting, test=0):
  26.     # 测试模型

由于vali()仅用了一次，test()和train()相似度比较高，故下文只解释train()。

四、train()

主要代码：

  1. train_data, train_loader = self._get_data(flag='train')
  2. # 读取数据
  3. # 这里不是很理解，在Dataset_M4类中可以发现，他是先把10w条数据全部读进去，再根据seasonal_patterns进行筛选的，反正程序都是按照季节依次执行的，为啥不直接读取季节的csv文件呢？
  4.  
  5. early_stopping = EarlyStopping(patience=self.args.patience, verbose=True)
  6. # 早停，为了避免过拟合
  7.  
  8. for epoch in range(self.args.train_epochs):
  9.     for i, (batch_x, batch_y, batch_x_mark, batch_y_mark) in enumerate(train_loader):
  10.     # batch_x, batch_y是从打乱顺序的m4数据中截取的16个长度为24的序列，其中batch_x是前16个，batch_y是后16个，因此batch_x和batch_y有8个是相同的，但截取序列时，只保证batch_x中的数据有意义（非空），batch_y随意，如Q19657中截取的24个数据
  11.     # [[ 1380.0000],[ 1350.0000],[ 1330.0000],[ 1320.0000],[ 1300.0000],[ 1300.0000],
  12.     #  [ 1280.0000],[ 1280.0000],[ 1280.0000],[ 1280.0000],[ 1260.0000],[ 1260.0000],
  13.     #  [ 1260.0000],[ 1250.0000],[ 1240.0000],[ 1230.0000],[ 1230.0000],[    0.0000],
  14.     #  [    0.0000],[    0.0000],[    0.0000],[    0.0000],[    0.0000],[    0.0000]]
  15.  
  16.         model_optim.zero_grad()  # 将网络中的梯度置零
  17.  
  18.         # decoder input
  19.         dec_inp = torch.xxxxxx
  20.         # dec_inp为后8个变为0的batch_y
  21.  
  22.         outputs = self.model(batch_x, None, dec_inp, None)  # 运行TimesNet模型
  23.         # size为16x16，实际上只有batch_x有用
  24.  
  25.         outputs = outputs[:, -self.args.pred_len:, f_dim:]  # outputs的最后8个是预测值
  26.         loss_value, loss_sharpness, loss
  27.         train_loss.append(loss.item())
  28.         # 计算loss
  29.  
  30.         loss.backward()
  31.         model_optim.step()
  32.         # pytorch的一套组合拳
  33.         # optimizer.zero_grad() 清空过往梯度；
  34.         # loss.backward() 反向传播，计算当前梯度；
  35.         # optimizer.step() 根据梯度更新网络参数
  36.  
  37. best_model_path = path + '/' + 'checkpoint.pth'
  38. self.model.load_state_dict(torch.load(best_model_path))
  39. # 读取最佳节点来继续运行，免得发生意外，程序重跑
  40.  
  41. return self.model

五、TimesNet.py

主要是三个部分：Model, TimesBlock和FFT_for_Period。

1.Model

主要代码：

  1. class Model(nn.Module):
  2.     def __init__(self, configs):
  3.  
  4.     def forecast(self, x_enc, x_mark_enc, x_dec, x_mark_dec):
  5.         # Normalization from Non-stationary Transformer
  6.         # Quarterly中，一个train的batch_x为[16,16,1]，一个test的batch_x为[1,16,1]
  7.  
  8.         means, stdev
  9.         x_enc /= stdev
  10.         # 对x_enc做Z-Score标准化
  11.  
  12.         # embedding
  13.         enc_out = self.enc_embedding(x_enc, x_mark_enc)
  14.         # 升维，增加参数，输入[16,16,1]，输出[16,16,64]
  15.  
  16.         enc_out = self.predict_linear(enc_out.permute(0, 2, 1)).permute(0, 2, 1)
  17.         # 每个序列都预测了8个值，输出[16,24,64]
  18.  
  19.         # TimesNet
  20.         for i in range(self.layer):
  21.         # layer=e_layers，Quarterly中e_layers=2，2层TimesBlock处理
  22.  
  23.             enc_out = self.layer_norm(self.model[i](enc_out))
  24.             # 跳转至TimesBlock
  25.             # 返回结果[16,24,64]
  26.  
  27.         # porject back
  28.         dec_out = self.projection(enc_out)
  29.         # 将每行64维的数据投影至1维，输出[16,24,1]
  30.  
  31.         # De-Normalization from Non-stationary Transformer
  32.         dec_out, stdev, means
  33.         # 将结果进行还原，输出[16,24,1]
  34.  
  35.         return dec_out
  36.  
  37.     def forward(self, x_enc, x_mark_enc, x_dec, x_mark_dec, mask=None):
  38.     # 由于模型是基于nn.Module写的，运行模型时默认先执行forward
  39.     # 所以用forward选择对应的任务来执行。

2.TimesBlock

主要代码：

  1. class TimesBlock(nn.Module):
  2.     def __init__(self, configs):
  3.  
  4.     def forward(self, x):
  5.         B, T, N = x.size()  # enc_out为[16,24,64]
  6.         period_list, period_weight = FFT_for_Period(x, self.k)
  7.         # 跳转至FFT_for_Period
  8.         # 返回结果5个周期和对应频率的振幅
  9.  
  10.         for i in range(self.k):
  11.             # padding
  12.             # 根据seq_len+pred_len能否整除period，决定是否补零
  13.             # 此处能整除，输出[16,24,64]
  14.  
  15.             # reshape
  16.             out = out.reshape
  17.             # 2D conv: from 1d Variation to 2d Variation
  18.             out = self.conv(out)
  19.             # 根据周期，将1维序列变为2维变量
  20.  
  21.             # reshape back
  22.             out = out.permute(0, 2, 3, 1).reshape(B, -1, N)
  23.             # 将2维变量变回1维序列
  24.  
  25.             res.append(out[:, :(self.seq_len + self.pred_len), :])
  26.         res = torch.stack(res, dim=-1)
  27.         # 记录残差
  28.  
  29.         # adaptive aggregation
  30.         period_weight, res
  31.         # 结合振幅计算新的残差
  32.  
  33.         # residual connection
  34.         res = res + x
  35.         return res

3.FFT_for_Period

主要代码：

  1. def FFT_for_Period(x, k=2):
  2.     xf = torch.fft.rfft(x, dim=1)   # 傅里叶变换
  3.  
  4.     # find period by amplitudes
  5.     frequency_list = abs(xf).mean(0).mean(-1)   # 频域求平均振幅
  6.     frequency_list[0] = 0   # 第一个频率很高，但没用
  7.  
  8.     _, top_list = torch.topk(frequency_list, k)  # 获取最大的k个频率
  9.     top_list = top_list.detach().cpu().numpy()
  10.     # detach()阻断反传，但数据仍在现存里，cpu无法获取
  11.     # cpu()将数据移至cpu，返回值是cpu上的Tensor
  12.     # numpy()将cpu上的tensor转为numpy数据，为ndarray类型，返回值为numpy.array()
  13.  
  14.     period = x.shape[1] // top_list     # 周期=T/f
  15.     return period, abs(xf).mean(-1)[:, top_list]    # 返回周期、k个频率的振幅

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/知新_RL/article/detail/377590
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号