RNN 、LSTM、 GRU、Bi-LSTM 等常见循环网络结构以及其Pytorch实现_rnn, lisvm, tree, bilstm, lstm, and gru

这篇文章主要是对之前一段时间里接触到的 循环神经网络 的相关知识进行一些总结，包括个人觉得初学难理解或者需要注意的问题和如何使用Pytorch的相关函数。由于这些经典结构网上资料很多，所以一些通识不再陈述，偏重代码部分。

1.RNN

很多问题都归结于序列信息的处理，例如 speech recognization，machine translation等等，RNN就是为了解决这类问题的结构，这里的RNN含义为循环神经网络（recurrent neural network）而非递归神经网络（recursive neural network）。序列信息可以看作是不同时间点输入相同格式的数据，那么使用一个结构循环处理不同时间点的数据，那么这也就是RNN网络了，所以很多介绍RNN的地方都会有那张经典的RNN展开的图了：

这一类介绍资源非常多，所以不再赘述。RNN的关键在于它的计算公式：
$$\begin{gathered} s_t=f(U\cdot x_t+W\cdot s_{t-1}) \\ {o}_t=softmax(V\cdot s_t) \end{gathered}$$
说明：

• $x_t$是某个时刻的输入信息，序列信息可以看作是不同时间的连续输入，所以每个时间点都会输入信息。
• $s_t$ 表示隐藏信息，对于序列信息的处理，很重要的一点就是上文信息会影响到下文信息，所以需要有一个结构来储存之前的所有信息。
• $o_t$