菜鸟追梦旅行

这个屌丝很懒，什么也没留下！

热门标签

深度学习500问——Chapter06：循环神经网络（RNN）（1）

作者：菜鸟追梦旅行 | 2024-04-07 06:55:12

踩

文章目录

6.2.3 vector-to-sequence结构

6.2.4 sequence-to-vector结构

6.2.5 Encoder-Decoder结构

6.2.6 以上三种结构各有怎样的应用场景

6.2.7 图解RNN中的Attention机制

6.3 RNNs典型特点

6.1 为什么需要RNN

时间序列数据是指在不同时间点上收集到的数据，这类数据反映了某一事物、现象等随时间的变化状态或程度。一般的神经网络，在训练数据足够、算法模型优越的情况下，给定特定的x，就能得到期望y。其一般处理单个的输入，前一个输入和后一个输入完全无关，但实际应用中，某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。比如：

当我们在理解一句话意思时，孤立的理解这句话的每个词不足以理解整体意思，我们通常需要处理这些词连接起来的整个序列；当我们处理视频的时候，我们也不能只单独的去分析每一帧，而要分析这些帧连接起来的整个序列。为了解决一些这样类似的问题，能够更好的处理序列的信息，RNN就由此诞生了。

6.2 图解RNN基本结构

6.2.1 基本的单层网络结构

在进一步了解RNN之前，先给出最基本的单层网络结构，输入是 $x$ ，经过变换 $Wx+b$ 和激活函数 $f$ 得到输出 $y$ ：

6.2.2 图解经典RNN结构

在实际应用中，我们还会遇到很多序列形的数据。如：

自然语言处理问题。 $x_1$ 可以看作是第一个单词， $x_2$ 可以看作是第二个单词，依次类推。
语音处理。此时， $x_1,x_2,x_3.....$ 是每帧的声音。
时间序列问题。例如每天的股票价格等等。

其单个序列如下图所示：

前面介绍了诸如此类的序列数据用原始的神经网络难以建模，基于此，RNN引入了隐状态 $h$ （hidden state）， $h$ 可对序列数据提取特征，接着再转换为输出。

为了便于理解，先计算 $h_1$ ：

注：图中的圆圈表示向量，箭头表示对向量做变换。

RNN中，每个步骤使用的参数 $U,W,b$ 相同， $h_2$ 的计算方式和 $h_1$ 类似，其计算结果如下：

计算 $h_3,h_4$ 也相似，可得：

接下来，计算RNN的输出 $y_1$ ，采用Softmax作为激活函数，根据 $y_n=f(Wx+b)$ ，得 $y_1$ ：

使用和 $y_1$ 相同的参数 $V,c$ ，得到 $y_1,y_2,y_3,y_4$ 的输出结构：

以上即为最经典的RNN结构，其输入为 $x_1,x_2,x_3,x_4$ ，输出为 $y_1,y_2,y_3,y_4$ ，当然实际中最大值为 $y_n$ ，这里为了便于理解和展示，只计算4个输入和输出。从以上结构可看出，RNN结构的输入和输出等长。

6.2.3 vector-to-sequence结构

有时我们要处理的问题输入是一个单独的值，输出是一个序列。此时，有两种主要建模方式：

方式一：可只在其中的某一个序列进行计算，比如序列第一个进行输入计算，其建模方式如下：

方式二：把输入信息 X 作为每个阶段的输入，其建模方式如下：

6.2.4 sequence-to-vector结构

有时我们要处理的问题输入是一个序列，输出是一个单独的值，此时通常在最后的一个序列上进行输出变换。其建模如下所示：

6.2.5 Encoder-Decoder结构

原始的sequence-to-sequence结构的RNN要求序列等长，然而我们遇到的大部分问题序列都是不等长的，如机器翻译中，源语言和目标语言的句子往往没有相同的长度。

其建模步骤如下：

步骤1：将输入数据编码成一个上下文向量 $c$ ，这部分称为Encoder，得到的 $c$ 有多种方式，最简单的方法就是把Encoder的最后一个隐状态赋值给 $c$ ，还可以对最后的隐状态做一个变换得到 $c$ ，也可以对所有的隐状态做变换。其示意如下所示：

步骤2：用另一个RNN网络（我们将其称为Decoder）对其进行编码。

方法一是将步骤1中的 $c$ 作为初始状态输入到Decoder，示意图如下所示：

方法二是将 $c$ 作为Decoder的每一步输入，示意图如下所示：

6.2.6 以上三种结构各有怎样的应用场景

网络结构	结构图示	应用场景举例
1 vs N		1、从图像生成文字，输入为图像的特征，输出为一段句子 2、根据图像生成语音或音乐，输入为图像特征，输出为一段语音或音乐
N vs 1		1、输出一段文字，判断其所属类别 2、输入一个句子，判断其情感倾向 3、输入一段视频，判断其所属类别
N vs M		1、机器翻译，输入一种语言文本序列，输出另一种语言文本序列 2、文本摘要，输入文本序列，输出这段文本序列摘要 3、阅读理解，输入文章，输出问题答案 4、语音识别，输入语音序列信息，输出文字序列

网络结构

结构图示

应用场景举例

1 vs N

1、从图像生成文字，输入为图像的特征，输出为一段句子

2、根据图像生成语音或音乐，输入为图像特征，输出为一段语音或音乐

N vs 1

1、输出一段文字，判断其所属类别

2、输入一个句子，判断其情感倾向

3、输入一段视频，判断其所属类别

N vs M

1、机器翻译，输入一种语言文本序列，输出另一种语言文本序列

2、文本摘要，输入文本序列，输出这段文本序列摘要

3、阅读理解，输入文章，输出问题答案

4、语音识别，输入语音序列信息，输出文字序列

6.2.7 图解RNN中的Attention机制

在上述通用的Encoder-Decoder结构中，Encoder把所有的输入序列都编码成一个统一的语义特征 $c$ 再解码，因此， $c$ 中必须包含原始序列中的所有信息，它的长度就成了限制模型性能的瓶颈。如机器翻译问题，当要翻译的句子较长时，一个 $c$ 可能存不下那么多信息，就会造成翻译精度的下降。Attention机制通过在每个时间输入不同的 $c$ 来解决此问题。

引入了Attention机制的Decoder后，有不同的 $c$ ，每个 $c$ 会自动选择与当前输出最匹配的上下文信息，其示意图如下所示：

举例：比如输入序列是“我爱中国”，要将此输入翻译成英文：

假如用 $a_{ij}$ 衡量Encoder中第 $j$ 阶段的 $h_j$ 和解码时第 $i$ 阶段的相关性， $a_{ij}$ 从模型中学习得到，和Decoder的第 $i-1$ 阶段的隐状态、Encoder第 $j$ 个阶段的隐状态有关，比如 $a_{3j}$ 的计算示意如下所示：

最终Decoder中第 $i$ 阶段的输入的上下文信息 $c_i$ 来自所有 $h_j$ 对 $a_{ij}$ 的加权和。

其示意图如下图所示：

在Encoder中， $h_1,h_2,h_3,h_4$ 分别代表“我”，“爱”，“中”，“国”所代表信息。翻译的过程中， $c_1$ 会选择和“我”最相关的上下午信息，如上图所示，会优先选择 $a_{11}$ ，以此类推， $c_2$ 会优先选择相关性较大的 $a_{22}$ ， $c_3$ 会优先选择相关性较大的 $a_{33},a_{34}$ ，这就是Aattention机制。