神经网络与深度学习（四）：循环神经网络与NLP

1.序列模型

 图像分类：由当前输入得到当前输出；

 时间序列预测：由当前+过去输入得到当前输出。

自回归模型：保留一些对过去观测的总结,并且同时更新预测和总结。

这就产生了基于的估计，以及更新的模型。

2.数据预处理 

特征编码：由于机器学习算法都是在矩阵上执行线性代数计算，所以参加计算的特征必须是数值型的，对于非数值型的特征需要进行编码处理。对于离散型数据的编码，我们通常会使用两种方式来实现，分别是标签编码和独热编码。

文本分类：

（1）按字母处理：将给定文本切分为字母序列；

（2）按单词处理：将给定文本切分为单词序列。

3.文本预处理与词嵌入 

文本预处理：一篇文章可以被简单地看作一串单词序列，甚至是一串字符序列。 文本的常见预处理步骤通常包括：

（1）将文本作为字符串加载到内存中；

（2）将字符串切分为词元（如单词和字符）；

（3）建立一个字典，将拆分的词元映射到数字索引；

（4）.将文本转换为数字索引序列，方便模型操作。

词嵌入： 是一种词的类型表示，具有相似意义的词具有相似的表示，是将词汇映射到实数向量的方法总称。词嵌入是自然语言处理的重要突破之一，是指单个词在预定义的向量空间中被表示为实数向量，每个单词都映射到一个向量，将独热向量映射为低维向量从而解决问题。

4.RNN模型

 如何建模序列数据：

图像分类中使用：1对1模型；输入和输出维度：固定；

文本处理中：输入维度不定（可能一直有单词输入）；输出维度不定或者是1（直接最终理解结果）

​​

RNN问题：随着输入的增加会产生“遗忘”问题。 

RNN误差反传： 

每个时间步的隐状态和输出可以写为：

通过一个目标函数在所有T个时间步内评估输出 和对应的标签之间的差异：

按照链式法则：

 既依赖于又依赖于,其中的计算也依赖于，因此，用链式法则产生：

使用下面的公式移除上一步的循环计算：

截断时间步：可以在