论文学习——基于改进Bi-LSTM和XGBoost的电力负荷组合预测方法_lstm+xgboos

1 摘要

1. 领域： 电力负荷预测
2. 文章提出了一种新的短期电力负荷预测方法：①根据加权灰色关联投影算法，对数据进行预处理；②然后应用注意力（Attention）机制来改进双向长短期记忆（Bi-LSTM）模型；③结合极端梯度提升，（XGBoost）模型构建一种由误差倒数法确定权重的 电力负荷组合预测模型。
3. 数据集：新加坡电力市场数据集

2 结论

1. 利用 WGRP算法，对假日数据进行预处理，可以有效提高模型的预测精度；
2. 利用注意力机制，使 Bi-LSTM模型 强调重要因素的影响，从而消除冗余，提高预测性能；
3. 在XGBoost 中加入正则项，可以降低模型复杂性，有效防止过度拟合减少计算量。【使用XGBoost模型进行组合优化，可以极大减少模型误差】
4. 与所有基准模型相比， " Attention - Bi-LSTM + XGBoost” 组合模型预测误差最小！

3 引言

电力预测分为4类：传统预测+现代预测+混合预测+组合预测。

• 传统预测： 时间序列分析、回归分析、其他统计方法 => 能够较好处理简单线性问题和估计未来电力负荷，但是在处理非线性问题时效果不佳； 总结来说，就是只能解决线性问题。
• 现代预测： 主要用来预测非线性问题，主要包括模糊逻辑、 灰色系统 、 人工神经网络、 支持向量回归。 = > 这些方法存在着计算复杂、 泛化能力差、 过拟合 等固有局限； 总结来说，就是可以解决非线性问题。
• 混合预测： 针对上述不足，通过粒子群、贝叶斯等参数优化算法烘衣机对数据进行预处理，提出了混合预测模型。 总结来说，做了两步改进： ①模型参数优化； ②数据预处理。
• 组合预测： 前三种模型中，都存在着单一预测模型的固有缺陷，将两个以上的不通过预测模型以特定的加权方法组合，从而得到组合预测方法。 总结来说，这里就是使用到两个及以上的模型。

3.1 组合预测

可以想到，组合预测的需要解决的问题是，如何确定使用哪两个模型，或者是多个模型进行组合？ 考虑多个模型的选择，以及组合的合理性； 组合模型的采纳数优化全体，多个组合模型的权重系数分配问题…

在文中，作者介绍了多个研究：
（1）xiao等采用 布谷鸟搜索算法来优化组合模型的权重系数。[17]
（2）[18-20] 证明组合预测模型优于单一预测模型
（3）陈[21]使用 LSTM + XGBoost 预测电力负荷，然后根据误差倒数法为两个模型分配权重
（4）庄家懿 [22] 结合 MAPE-PW 算法 进行模型组合 初试权重设置， 对最佳权重进行搜索， 构建了 CNN- LSTM -XGBoots 组合预测模型，比单一预测模型误差显著降低

3.2 总结

综上所述，组合预测方法，通过是结合现有的成熟的预测模型，并且计算每个模型所占权重。

4 加权灰色关联投影算法的理论介绍

加权灰色关联投影算法是一种衡量各因素关联程度的一种方法，不受样本数量的限制。

• 第一步：选择n1个样本数据和待测样本数据，计算它们之间的关系系数。（矩阵中的每一个值，怎么算出来的也没有介绍）
  
• 第二步：使用熵权法计算各影响因素的权重，并对灰色关联矩阵进行加权，得到灰色关联矩阵。
  
  
• 对最后一句不是很了解，“选择投影值较大的样本作为相似性样本进行替换。【这里不多介绍了，自己的实验应该用不到这个地方】

5 双向LSTM

• 因为之前已经非常详细地学了RNN和LSTM，这里就稍微看一下Bi-LSTM，博文链接如下：

https://editor.csdn.net/md/?articleId=124550867

6 在Bi-LSTM中引入 注意力机制

• Attention考虑的是，强调输入数据度输出数据不同影响力，优化数据的特征提取、提高预测性能。
  

7 XGBoost电力负荷预测模型

• 这里就直接介绍了这个模型，但是为什么要使用XGBoost呢？

【具体的模型介绍不加赘述了，可以移步b站或者csdn里面应该有很多教程】

8 Attention-Bi-LSTM+XGBoost 电力负荷组合预测模型

这一章开始介绍整个模型的算法了。
首先要明确，这里使用了两个模型（因为是集成算法），一个是融合了Attention机制的BiLSTM模型，另一个是XGBoost模型，为什么选择这两个模型进行集成学习呢？

8.1 既然存在两个模型，就一定有一个权重分配的过程！

• 本文用的是误差倒数法

• 那总结一下，也就是说，我找到两个预测效果比较好的模型，然后我误差倒数法一下，结合这两个模型的输出，就可以克服单一预测模型的各种缺点了？？？？
• 那问题是不是就简单了，SVM RNN BP LSTM 这些都是用于时间序列预测的，那么我把这些模型都跑一遍，然后选择效果最好的两个，然后把他们的预测误差来分析权重，然后输出乘以权重，我就可以了？？？

9 重头戏：实验部分

本文提出的组合预测方法，主要可以分为4个阶段。

9.1 数据预处理

1. 选择几个影响最大的特征，（这个地方应该是需要做一下相关性分析的，否则太主观了）， 如时间、假日类型、实时价格，然后利用WGRP算法， 加权灰色关联投影算法对数据进行处理，使得数据更具有一般性，最后将数据进行标准化。

9.2 单一模型预测阶段

1. 用Attention-BILISTM 进行预测，再用XGBoost进行预测，保留预测结果。

9.3 权重赋予

1. 根据9.3阶段的预测误差，使用误差倒数法进行分析获得缺中，对模型进行加权，形成了Attention-BiLSTM + XGBoost 组合预测模型

9.4 预测评估

1. 通过比较6个基准模型，评估该方法是否能够提高电力负荷预测的准确性。

10 模型评估

10.1 选择基准模型

LSTM
BiLSTM
Attention-BiLSTM
Attention-LSTM
Attention-RNN
XGBoost

10.2 数据集选择

10.3 实验环境

11 总结

1. 根据什么选择基础模型？
   
   【当然，可以将现在比较流行的所有模型都计算一遍，比如说RNN LSTM GRU等等，然后比较一下谁的效果最好，以此来确定基础模型】

2. 为什么要选择组合预测模型？为什么组合预测模型是选择2个基础模型，而不是3个或者更多？
   （1）考虑到算法的复杂性，而且选择两个模型进行互补就可以了，如果两个模型仍然存在大的缺陷，比如泛化性差的问题，那么也是可以考虑3个模型及以上。
   （2）选择几个基础模型，是需要建立在 深入理解算法原理 的基础上的，不是主观臆断的！

3. 为什么要加入注意力机制？
   文章中给出了解释，对比了有Attention 和没有Attention 的预测误差，得出注意力机制对于预测精度有显著影响。
   
   

4. 为什么选择XGBoost？
   这里其实和前面的问题重复了，再强调一遍，在所有的基础预测模型中，XGBoost的误差是最小的，因此用XGBoost和 Attention-BiLSTM 来进行组合预测。

最后一个问题，（目前我对XGBoost还不是很了解），既然Attention机制可以提高模型的预测性能，为什么不在XGBoost中加入Attention机制呢？这样对于整个算法设计应该是最合理的情况了！

• 接下来，我开始学习XGBoost的内容，持续更新，感谢关注收藏点赞，你的鼓励是我分享的动力！！