NLP自然语言处理与神经网络——02.循环神经网络(LSTM和GRU)+api使用_循环神经网络的api

1.循环神经网络的介绍

1.1 为什么有了神经网络还要有循环神经网络？

在普通的神经网络中 ，信息的传递是单向的，这种限制虽然使网络变得更容易学习，但也在一定程度上减弱了神经网络模型的能力。特别是在很多现实任务中，网络的输出不仅和当前的输入有关，也和过去一段时间的输出有关。此外，普通的网络难以处理时序数据，比如，视频，语言，文本等。时序数据的长度一般是不固定的，而前馈神经网络的输入和输出一般都是固定的，不能任意改变。

循环神经网络是一类具有短期记忆能力的网络，在循环神经网络中，神经元不但可以接受其他神经元的信息，也可以接受自身的信息，形成具有环路的网络结构。换句话说，神经元的输出可以在下一个时间步作用到自身。（作为输入）

从简化图可以看出，RNN比经典神经网络多了一个循环圈，这个循环圈就表示在下一个时间步（time step）上会返回作为输入的一部分，我们把RNN在时间点上展开，得到图形如下：

• 时间步（time step）：不同时刻（把输入展开，每个输入是在不同的时间步上的）
• 循环：下一个时间步，不仅有当前时间步的输入，还有下一个时间步的输出
• RNN：具有短期记忆能力的网络

在不同的时间步，RNN的输入都将与之前的时间状态有关，tn时刻网络的输出结果是该时刻的输入和所有历史共同作用的结果，这就达到了对时间序列建模的目的。

2.LSTM和GRU

2.1 LSTM概念和作用

假如现在有这样一个问题，根据现有文本预测下一个词语，比如：天上的云朵漂浮在__，通过间隔不远的位置就可以预测出来词语是天上，但是对于其他一些句子，可能需要被预测的词语在前一百个词语之前，那么由于时间间隔非常大，随着时间间隔增大，可能导致需要真实的预测值对结果的影响变的非常小，而无法非常好的就行预测（RNN中的长期依赖问题（long-term-dependencies））。

那么为了解决这个问题，需要引入LSTM（long Short-Term Memory）
LSTM是一种特殊的RNN类型，可以学习长期依赖信息。

2.2 LSTM的核心

LSTM的核心在于单元（细胞）中的状态，也就数上图中最上面的那根线。这条线显示了只要你正确地设置了遗忘门和更新门，LSTM 是相当容易把