lstm结构及公式_lstm公式

https://blog.csdn.net/lreaderl/article/details/78022724

 lstm一共有四个重要公式。

• f：忘记门，对拼接结果取sigmoid表示是否丢弃先前结果。
• i：更新门，对拼接结果取sigmoid表示先前结果是否需要更新。
• g：加工门，对拼接结果取tanh表示先前结果需要左何等程度更新。

i与g做点乘，表示更新结果c'。

f与ci-1点乘+更新结果C'得到新的细胞状态Ct。

• o：同步门，取sigmoid表示是否需要同步。

新的细胞结果取tanh点乘o表示对需要同步的细胞左何等程度更新，得到新的ht。

参数计算：4*(hidden_size * (hidden_size + x_dim) + hidden_size)

lstm权值共享，权重计算与time_step无关。

lstm权重参数是rnn的四倍。