机器学习第34周周报VBAED

week34 VBAED

摘要

本周阅读了题为Accurate water quality prediction with attention-based bidirectional LSTM and encoder–decoder的论文。该文提出了一种称为VBAED的混合预测方法来预测水质时间序列。VBAED 结合了变分模式分解 （VMD）、双向输入注意力机制、具有双向 LSTM 的编码器 （BiLSTM） 以及具有双向时间注意力机制和 BiLSTM 的解码器。VBAED 的定义是一个编码器-解码器模型，它使用 VMD 作为模式分解，将 BiLSTM 与双向注意力机制相结合。本文在最后使用vmdpy对数据进行了一定处理。

Abstract

This week read the paper entitled Accurate water quality prediction with attention-based bidirectional LSTM and encoder–decoder. This paper proposes a hybrid prediction method called VBAED to predict the water quality time series. VBAED combines Variational mode decomposition (VMD), a Bidirectional input Attention mechanism, an Encoder with bidirectional LSTM (BiLSTM), and a Decoder with a bidirectional temporal attention mechanism and BiLSTM. The definition of VBAED is an Encoder–Decoder model that uses VMD as mode decomposition, combining BiLSTM with a bidirectional attention mechanism. And the end, using vmdpy as a tool for processing data.

一、文献阅读

1. 题目

标题：Accurate water quality prediction with attention-based bidirectional LSTM and encoder–decoder

作者：Jing Bi, Zexian Chen, Haitao Yuan, Jia Zhang

期刊名：[Expert Systems with Applications]

链接：https://doi.org/10.1016/j.eswa.2023.121807

2. abstract

随着水质数据的增加，其变得不稳定且高度非线性，因此，其准确预测成为一个巨大的挑战。为了解决这个问题，该文提出了一种称为VBAED的混合预测方法来预测水质时间序列。VBAED 结合了变分模式分解 （VMD）、双向输入注意力机制、具有双向 LSTM 的编码器 （BiLSTM） 以及具有双向时间注意力机制和 BiLSTM 的解码器。VBAED 的定义是一个编码器-解码器模型，它使用 VMD 作为模式分解，将 BiLSTM 与双向注意力机制相结合。

As the water quality data increases, it becomes unstable and highly nonlinear, and therefore, its accurate prediction becomes a big challenge. To solve it, this work proposes a hybrid prediction method called VBAED to predict the water quality time series. VBAED combines Variational mode decomposition (VMD), a Bidirectional input Attention mechanism, an Encoder with bidirectional LSTM (BiLSTM), and a Decoder with a bidirectional temporal attention mechanism and BiLSTM. The definition of VBAED is an Encoder–Decoder model that uses VMD as mode decomposition, combining BiLSTM with a bidirectional attention mechanism.

3. 网络架构

该文在输入维度和时间维度上创新地将注意力机制与BiLSTM相结合，并采用VMD对水质数据进行分解，将重要模式与噪声模式分离，进一步提高预测精度。具体来说，通过VMD将预测因子的历史数据分解为多种模式。然后，模式和其他特征由具有双向输入注意机制的 BiLSTM 进行编码，并由具有双向时间注意机制的 BiLSTM 进行解码，以产生最终预测。

上图说明了所提出的 VBAED 模式

3.1 序列问题阐述

3.2 变分模态分解

VMD迭代地搜索变分模态的最优解，不断更新每个模态函数和中心频率，并获得多个本征模态函数（IMF）。变分问题定义为求解 k模IMF 来最小化每种模式的估计带宽之和。 Y 分解为 k 模。

VMD分解可以降低时间序列的非线性和波动性，避免模式混合的负面影响。不同的模态分量对预测结果有不同的影响。

通过将它们分离并与输入注意机制相结合，VBAED 能够自适应地选择重要模式，从多个模式中过滤掉噪声模式，并专注于包含重要信息的模式。可以根据实验结果选择性地去除模态分量。

这项工作通过 VMD 将目标值序列分解为三个分量，并将其用作特征。这引导神经网络更用心地学习更复杂的特征并提高预测精度。VMD处理后的的输入为 X ^ = { X ^ 1 , … , X ^ t , … , X ^ T } ∈ R n × T  where  n = n ˙ + 3 \hat X=\{\hat X_1,\dots, \hat X_t,\dots,\hat X_T\}\in \mathbb R^{n\times T}\ \text{where}\ n=\dot n+3 X^={X^1​,…,X^t​,…,X^T​}∈Rn×T where n=n˙+3

3.3 具有 BiLSTM 和双向输入注意力的编码器

BiLSTM：由两个独立的 LSTM 单元组成。第一个 LSTM 单元称为 LSTMF，它从前到后对信息进行编码。第二个 LSTM 单元称为 LSTMB，它从后到前对信息进行编码。然后，组合来自两个方向的信息以获得编码器在时间步 t 的隐藏状态 $h_t$。

特别是，在时间步 t 处，LSTMF 根据时间步 t-1 处的前一个隐藏状态 $h_{t-1}^F$、时间步 t-1 处的单元状态 $c_{t-1}^F$以及输入 $X_t$ 计算其隐藏状态 $h_t^F$ 。 LSTMB 基于隐藏状态 $h_{t-1}^B$、单元状态 $c_{t+1}^B$ 和输入 $X_t$ 计算其隐藏状态 $h_t^B$。然后，将前向隐藏状态$h_t^F$和后向隐藏状态$h_t^B$组合成BiLSTM的隐藏状态。 LSTMF和LSTMB是两个独立的LSTM单元，它们不共享参数。 $h_t^F$ 、 $h_t^B$ 和 $h_t$ 给出为：
$$h_t^F=\text{LF}(h_{t-1}^F,c_{t-1}^F,{\hat{X}}_t)\text{\hspace{1em}(2)}$$

$$h_t^B=\text{LB}(h_{t+1}^B,c_{t+1}^B,{\hat{X}}_t)\text{\hspace{1em}(3)}$$

$$h_t=[h_t^F;h_t^B]\text{\hspace{1em}(4)}$$

其中 LF 是 LSTMF 单元，LB 是 LSTMB 单元。