深度学习之循环神经网络（8）长短时记忆网络（LSTM）_深度学习 长短时记忆

 循环神经网络除了训练困难，还有一个更严重的问题，那就是 短时记忆（Short-term memory）。考虑一个长句子：

今天天气太美好了，尽管路上发生了一件不愉快的事，…，我马上调整好状态，开开心心地准备迎接美好的一天。

根据我们的理解，之所以能够“ 开开心心地准备迎接美好的一天”，在于句子最开始处点明了“ 今天天气太美好了”。可见人类是能够很好地理解长句子的，但是循环神经网络却不一定。研究人员发现，循环神经网络在处理较长的句子时，往往只能够理解有限长度内的信息，而对于位于较长范围内的有用信息往往不能很好地利用起来。我们把这种现象叫做短时记忆。

 那么，能不能够延长这种短时记忆，使得循环神经网络可以有效利用较大范围内的训练数据，从而提升性能呢？1997年，瑞士人工智能科学家J $\ddot{\text{u}}$rgen Schmidhuber 提出了 长短时记忆网络（Long Short-Term Memory，简称LSTM）。LSTM相对于基础的RNN网络来说，记忆能力更强，更擅长处理较长的序列信号数据，LSTM提出后，被广泛应用在序列预测、自然语言处理等任务中，几乎取代了基础的RNN模型。

 接下来，我们将介绍更加流行、更加强大的LSTM网络。

0. LSTM原理

 基础的RNN网络结构如下图所示，上一个时间戳的状态向量${\mathbf{h}}_{t-1}$与当前时间戳的输入${\mathbf{x}}_t$经过线性变换后，通过激活函数$\text{tanh}$后得到新的状态向量${\mathbf{h}}_t$。

基础RNN结构框图

相对于基础的RNN网络只有一个状态向量${\mathbf{h}}_t$，LSTM新增了一个状态向量${\mathbf{c}}_t$，同时引入了门控（Gate）机制，通过门控单元来控制信息的遗忘和刷新，如下图所示：

LSTM结构框图

 在LSTM中，有两个状态向量$\mathbf{c}$和$\mathbf{h}$，其中$\mathbf{c}$作为LSTM的内部状态向量，可以理解为LSTM的内部状态向量Memory，而$\mathbf{h}$表示LSTM的输出向量。相对于基础的RNN来说，LSTM把内部Memory和输出分开为两个变量，同时利用三个门控：输入门（Input Gate）、遗忘门（Forget Gate）和输出门（Output Gate）来控制内部信息的流动。

 门控机制可以理解为控制数据流通量的一种手段，类比于水阀门：当水阀门全部打开时，水流畅通无阻地通过；当水阀门全部关闭时，水流完全被隔断。在LSTM中，阀门开合程度利用门控值向量$\mathbf{g}$表示，如下图所示，通过$\sigma (\mathbf{g})$激活函数将门控制压缩到$[0,1]$之间的区间，当$\sigma (\mathbf{g})=0$时，门控全部关闭，输出$\mathbf{o}=0$；当$\sigma (\mathbf{g})=1$时，门控全部打开，输出$\mathbf{o}=\mathbf{x}$。通过门控机制可以较好地控制数据的流量程度。

门控机制

 下面我们分别来介绍三个门控的原理及其作用。

1. 遗忘门

 遗忘门作用于LSTM状态向量$\mathbf{c}$上面，用于控制上一个时间戳的记忆${\mathbf{c}}_{t-1}$对当前时间戳的影响。遗忘门的控制变量${\mathbf{g}}_f$由
$${\mathbf{g}}_f=\sigma ({\mathbf{W}}_f[{\mathbf{h}}_{t-1},{\mathbf{x}}_t]+{\mathbf{b}}_f)$$
产生，如下图所示：

遗忘门

 其中${\mathbf{W}}_f$和${\mathbf{b}}_f$为遗忘门的参数张量，可由反向传播算法自动优化，$\sigma$激活函数，一般使用Sigmoid函数。当门控${\mathbf{g}}_f=1$时，遗忘门全部打开，LSTM接受上一个状态${\mathbf{c}}_{t-1}$，输出为0的向量。这也是遗忘门的名字由来。

 经过遗忘门后，LSTM的状态向量变为${\mathbf{g}}_f{\mathbf{c}}_{t-1}$。

2. 输入门

 输入门用于控制LSTM对输入的接收程度。首先通过对当前时间戳的输入${\mathbf{x}}_t$和上一个时间戳的输出${\mathbf{h}}_{t-1}$做非线性变换得到新的输入向量${\tilde{\mathbf{c}}}_t$：
$${\tilde{\mathbf{c}}}_t=\text{tanh}({\mathbf{W}}_c[{\mathbf{h}}_{t-1},{\mathbf{x}}_t]+{\mathbf{b}}_c)$$
其中${\mathbf{W}}_c$和${\mathbf{b}}_c$为输入门的参数，需要通过反向传播算法自动优化，$\text{tanh}$为激活函数，用于将输入标准化到$[-1,1]$区间。${\tilde{\mathbf{c}}}_t$并不会全部刷新进入LSTM的Memory，而是通过输入门控制接受输入的量。输入门的控制变量同样来自于输入${\mathbf{x}}_t$和输出${\mathbf{h}}_{t-1}$：
$${\mathbf{g}}_i=\sigma ({\mathbf{W}}_i[{\mathbf{h}}_{t-1},{\mathbf{x}}_t]+{\mathbf{b}}_i)$$
其中${\mathbf{W}}_i$和${\mathbf{b}}_i$为输入门的参数，需要通过反向传播算法自动优化，$\sigma$为激活函数，一般使用Sigmoid函数。输入门控制变量${\mathbf{g}}_i$决定了LSTM对当前时间戳的新输入${\tilde{\mathbf{c}}}_t$的接受程度：当${\mathbf{g}}_i$=0时，LSTM不接受任何新的输入${\tilde{\mathbf{c}}}_t$；当${\mathbf{g}}_i=1$时，LSTM全部接受新输入${\tilde{\mathbf{c}}}_t$，如下图所示：

输入门

 经过输入门后，待写入Memory的向量为${\mathbf{g}}_i{\tilde{\mathbf{c}}}_t$。

3. 刷新Memory

 在遗忘门和输入门的控制下，LSTM有选择地读取了上一个时间戳的记忆${\mathbf{c}}_{t-1}$和当前时间戳的新输入${\tilde{\mathbf{c}}}_t$，状态向量${\mathbf{c}}_t$的刷新方式为：
$${\mathbf{c}}_t={\mathbf{g}}_i{\tilde{\mathbf{c}}}_t+{\mathbf{g}}_f{\mathbf{c}}_{t-1}$$
得到的新状态向量${\mathbf{c}}_t$即为当前时间戳的状态向量。如下图所示：

刷新Memory

4. 输出门

 LSTM的内部状态向量${\mathbf{c}}_t$并不会直接用于输出，这一点和基础的RNN不一样。基础的RNN网络的状态向量$\mathbf{h}$既用于记忆，又用于输出，所以基础的RNN可以理解为状态向量$\mathbf{c}$和输出向量$\mathbf{h}$是同一个对象。在LSTM内部，状态向量并不会全部输出，而是在输出门的作用下有选择地输出。输出门的门控变量${\mathbf{g}}_o$为：
$${\mathbf{g}}_o=\sigma ({\mathbf{W}}_o[{\mathbf{h}}_{t-1},{\mathbf{x}}_t]+{\mathbf{b}}_o)$$
其中${\mathbf{W}}_o$和${\mathbf{b}}_o$为输出门的参数，同样需要通过反向传播算法自动优化，$\sigma$为激活函数，一般使用Sigmoid函数。当输出门${\mathbf{g}}_o=0$时，输出关闭，LSTM的内部记忆完全被隔断，无法用作输出，此时输出为0的向量；当输出门${\mathbf{g}}_o=1$时，输出完全打开，LSTM的状态向量${\mathbf{c}}_t$全部用于输出。LSTM的输出由：
$${\mathbf{h}}_t={\mathbf{g}}_o\cdot \text{tanh⁡}({\mathbf{c}}_t)$$
产生，即内存向量${\mathbf{c}}_t$经过$\text{tanh}$激活函数后与输入门作用，得到LSTM的输出。由于${\mathbf{g}}_o\in [0,1]$，$\text{tanh}({\mathbf{c}}_t)\in [-1,1]$，因此LSTM的输出${\mathbf{h}}_t\in [-1,1]$。

输出门

5. 小结

 LSTM虽然状态向量和门控数量较多，计算流程相对复杂。但是由于每个门控功能清晰明确，每个状态的作用也比较好理解。这里将典型的门控行为列举出来，并解释其代码的LSTM行为，如下表所示：

输入门和遗忘门的典型行为