机器学习【3】：RNN（循环神经网络），LSTM改进_lstm的改进

一. RNN

     1. RNN作用是什么？

         RNN是一种可以具有前后记忆的一种特殊的神经网络，它不仅考虑当前时刻的输入,而且赋予了网络对前面的内容的一种'记忆'功能.当前节点的输出是基于上一个节点的状态加上当前节点的输入。这样的神经网络是具有上下文关系对应的，后面的信息是基于前面的信息而得出的，几乎所有和时间序列有关的数据我们都可以用循环神经网络进行训练。

     2. RNN的应用

         之前已经说过：RNN的应用范围非常广泛，凡是考虑时间先后顺序的问题都可以使用RNN来解决，这里主要说一下几个常见的应用领域:

    ① 自然语言处理(NLP): 主要有视频处理, 文本生成, 语言模型, 图像处理

    ② 机器翻译, 机器写小说

    ③ 语音识别

    ④ 图像描述生成

    ⑤ 文本相似度计算

    ⑥ 音乐推荐、网易考拉商品推荐、Youtube视频推荐等新的应用领域。

    3. RNN模型

     上图是一个折叠起来的RNN，我们看看他展开之后是怎样。