NLP学习笔记＜3＞循环神经网络RNN(1)_self.rnn

3.1 RNN的基本原理

        RNN(Recurrent Nrural Networks)是带层间反馈的神经网络模型，它维护了一个隐状态序列，每个隐状态都依赖于先前的隐状态和当前位置的输入，且输入序列的长度是不定长的。正适合这种特性，使其具有更强的捕获序列数据特征的生成词序列的能力，称为语言建模和语言生成的主流模型之一。

        RNN的算法框架包括输入层、隐藏层和输出层。

        对于一个词向量序列,其中为单词wi的维度为k的向量表示，每一层的状态设置为,定义如下：

 其中是RNN隐藏层中的循环函数。与全连接的神经网络不同的是，RNN隐藏层每一时刻的输入也包括上一时刻隐藏层的输出，RNN的记忆能力也正来源于此。RNN中最简单的循环函数为

 其中f是激活函数（如tanh或ReLU函数），