LSTM公式及理解

LSTM的基本结构及推导

这部分内容基本都是来自Step-by-step to LSTM: 解析LSTM神经网络设计原理，只是摘录了部分内容并添加了一些贫僧的想法。

LSTM公式与结构

LSTM（Long Short Term Memory，长短期记忆，注意这里的“长短期”，后面会提到是什么意思）的作者是个有点奇怪的人¹，他的名字是Jürgen Schmidhuber（发音也挺奇怪）。LSTM的作者很有意思，如果读者感兴趣的话可以自己去看看相关资料（一定要去看作者本人的个人网站）。

接下来我们直接看LSTM，放一张网络上极为常见的图：

图片来自Understanding LSTM Networks，（丑的要死的）红色字体是贫僧加的。

注意图中hidden state（短期记忆）和cell state（长期记忆）的传递，以及输出其实就是$h_t$。

然后就是LSTM的计算公式：
输入门：
$i_t=\sigma (W_i\cdot [h_{t-1},x_t]+b_i)$
遗忘门：
$f_t=\sigma (W_f\cdot [h_{t-1},x_t]+b_f)$
$\widetilde{C_t}=\tanh (W_C\cdot [h_{t-1},x_t]+b_C)$
输出门：
$o_t=\sigma (W_o[h_{t-1},x_t]+b_o)$
两种记忆：
长记忆：$C_t=f_t\ast C_{t-1}+i_t\ast \widetilde{C_t}$
短记忆：$h_t=o_t\ast \tanh (C_t$