LSTM详解_lstm公式

博客已迁至知乎，文本链接：https://zhuanlan.zhihu.com/p/70873081

前言

之前的文章讲解了RNN的基本结构和BPTT算法及梯度消失问题，说到了RNN无法解决长期依赖问题，本篇文章要讲的LSTM很好地解决了这个问题。本文部分内容翻译自Understanding LSTM Networks。

文章分为四个部分：

• RNN与LSTM的对比
• LSTM的核心思想
• LSTM公式和结构详解
• LSTM变体介绍

---

一. RNN与LSTM对比

1.公式对比：

首先对RNN的公式做一下变形：
s t = t a n h ( W s s t − 1 + W x x t + b ) = t a n h ( W [ s t − 1 , x t ] + b ) o t = s o f t m a x ( V s t + c )

$$\begin{aligned} s_t &=tanh(W_ss_{t-1}+W_xx_t+b)\\ &=tanh(W[s_{t-1},x_t]+b)\\ o_t &=softmax(Vs_t+c) \\ \end{aligned}$$ st​ot​​=tanh(Ws​st−1​+Wx​xt​+b)=tanh(W[st−1​,xt​]+b)=softmax(Vst​+c)​

其中：$[s_{t-1},x_t]$表示把$s_{t-1}$和$x_t$两个向量连接成一个更长的向量。所以有$W[s_{t-1},x_t]=W_s{s}_{t-1}+W_x{x}_t$，写成矩阵乘法形式：
[ W ] [ s t − 1 x t ] = [ W s W x ] [ s t − 1 x t ] = W s s t − 1 + W x x t

$$\begin{aligned} \begin{bmatrix}W\end{bmatrix}\begin{bmatrix}\mathbf{s}_{t-1}\\ \mathbf{x}_t\end{bmatrix}&= \begin{bmatrix}W_{s}&W_{x}\end{bmatrix}\begin{bmatrix}\mathbf{s}_{t-1}\\ \mathbf{x}_t\end{bmatrix}\\ &=W_{s}\mathbf{s}_{t-1}+W_{x}\mathbf{x}_t \end{aligned}$$