RNN和LSTM详解_lstm 分类 损失函数

1. Recurrent Neural Networks(RNN)

1.1 模型

$$h_t=tanh[W_{hx}{X}_t+W_{hh}{h}_{t-1}+b_h]$$
$$z_t=f(W_{hy}{h}_t+b_z)$$

• $tanh(v)=\frac{exp(2v)-1}{exp(2v)+1}$
• $W_{hh},W_{xh},W_{hy}$都是可训练的权重矩阵。
• $b_h,b_z$都是可训练的偏差向量。
• $X_t$和$z_t$分别是时间$t$的输入和输出。

1.2 损失函数

$$L_{\tau }(\theta )=\sum _{t\in \tau }L(y_t,z_t)$$
这里的$\tau$是输出序列。

1.3 不同形态的RNN

应用场景：

• One-to-many: image captioning;
• Many-to-one: text sentiment classification;
• Many-to-many: machine translation.

1.4 多层RNN

回想一下单层RNN：
h t = t a n h [ W h x X t + W h h h t − 1 + b h ] = t a n h [ W ( X t h t − 1 1 ) ] h_t = tanh[W_{hx}X_t + W_{hh}h_{t-1}+b_h]=tanh

$$\begin{bmatrix}W\begin{pmatrix}X_t\\h_{t-1}\\1\end{pmatrix}\end{bmatrix}$$ ht​=tanh[Whx​Xt​+Whh​ht−1​+bh​]=tanh⎣⎡​W⎝⎛​Xt​ht−1​1​⎠⎞​​⎦⎤​

多层RNN是单层RNN堆叠而来的：

h t l = t a n h [ W ( h t l − 1 h t − 1 1 ) ] h_t^l =tanh

$$\begin{bmatrix}W\begin{pmatrix}h_t^{l-1}\\h_{t-1}\\1\end{pmatrix}\end{bmatrix}$$ htl​=tanh⎣⎡​W⎝⎛​htl−1​ht−1​1​⎠⎞​​⎦⎤​

高层的隐含状态$h_t^l$由老的状态$h_{t-1}^l$和低层的隐含状态$h_t^{(}l-1)$决定。

1.5 RNN存在的问题

普通RNN的一个显著缺点是，当序列长度很大时，RNN难以捕获序列数据中的长依赖项。这有时是梯度消失/爆炸造成的。
在下面的例子中，计算$\frac{\partial L_{\tau }}{\partial h_1}$时，根据链式求导法则，我们需要计算${\prod }_{t=1}^3(\frac{\partial h_{t+1}}{\partial h_t})$。

如果序列很长，这个乘积将是许多雅可比矩阵的乘积，这通常会得到指数大或指数小的奇异值。

2. LSTM/GRU

2.1 概述

先回顾一下单层RNN：
h t = t a n h [ W h x X t + W h h h t − 1 + b h ] = t a n h [ W ( X t h t − 1 1 ) ] h_t = tanh[W_{hx}X_t + W_{hh}h_{t-1}+b_h]=tanh

$$\begin{bmatrix}W\begin{pmatrix}X_t\\h_{t-1}\\1\end{pmatrix}\end{bmatrix}$$ ht​=tanh[Whx​Xt​+Whh​ht−1​+bh​]=tanh⎣⎡​W⎝⎛​Xt​ht−1​1​⎠⎞​​⎦⎤​

对比LSTM：
( i t f t o t c t ) = ( σ σ σ t a n h ) W ( h t − 1 x t 1 )

$$\begin{pmatrix}i_t\\f_t\\o_t\\c_t\end{pmatrix}$$ = $$\begin{pmatrix}\sigma\\\sigma\\\sigma\\tanh\end{pmatrix}$$ W $$\begin{pmatrix}h_{t-1}\\x_t\\1\end{pmatrix}$$ ⎝⎜⎜⎛​it​ft​ot​ct​​⎠⎟⎟⎞​=⎝⎜⎜⎛​σσσtanh​⎠⎟⎟⎞​W⎝⎛​ht−1​xt​1​⎠⎞​

其中，$\sigma$是sigmoid函数。

LSTM可以删除或者添加信息到状态，并被叫“门”的结构（包括遗忘门、输入门、输出门）所限制。

2.2 遗忘门（Forget gate）

功能：保存旧的信息
f t = σ [ W f ( X t h t − 1 1 ) ] f_t =\sigma

$$\begin{bmatrix}W_f\begin{pmatrix}X_t\\h_{t-1}\\1\end{pmatrix}\end{bmatrix}$$ ft​=σ⎣⎡​Wf​⎝⎛​Xt​ht−1​1​⎠⎞​​⎦⎤​

理想情况下，遗忘门的输出具有接近二进制的值，例如，当$f_t$的输出接近1时可能表明输入序列中存在某个特征。

2.3 输入门（Input gate）

功能：更新记忆

i t = σ [ W i ( X t h t − 1 1 ) ] i_t =\sigma

$$\begin{bmatrix}W_i\begin{pmatrix}X_t\\h_{t-1}\\1\end{pmatrix}\end{bmatrix}$$ it​=σ⎣⎡​Wi​⎝⎛​Xt​ht−1​1​⎠⎞​​⎦⎤​
$${\bar{c}}_t=tanh\left[\begin{array}{c}{W}_c\left(\begin{array}{c}{X}_t\\ h_{t-1}\\ 1\end{array}\right)\end{array}\right]$$

2.4 输入门和遗忘门的合并

$$c_t=f_t\odot c_{t-1}+i_t\odot {\bar{c}}_t$$

$\odot$表示两个矩阵对应位置元素进行乘积

2.4 输出门（Output gate）

功能：决定有多少记忆$c_t$影响输出$h_t$

o t = σ [ W o ( X t h t − 1 1 ) ] o_t =\sigma

$$\begin{bmatrix}W_o\begin{pmatrix}X_t\\h_{t-1}\\1\end{pmatrix}\end{bmatrix}$$ ot​=σ⎣⎡​Wo​⎝⎛​Xt​ht−1​1​⎠⎞​​⎦⎤​

$$h_t=o_t\odot tanh(c_t)$$