RNN_sequential pairs

3.2 语言模型(Language Modeling)

目标：评估词序列的概率
$$P(w_1,...,w_m)$$

决定词序列是否符合文法或有含义
## N-Gram语言模型

概率由前 (n-1) 个词计算

$$\begin{gathered} P(w_1,...,w_m)=\prod _{i=1}^{m}P(w_i|w_1,...,w_{i-1}) \\ P(w_1,...,w_m)\approx \prod _{i=1}^{m}P(w_i|w_{i-(n-1)},...,w_{i-1}) \end{gathered}$$

评估基于训练数据的概率

问题：一些序列没有在训练数据中出现

例：

解决方法一：Smoothing

Feed-Forward Nerual Language Model

estimate not from count, but from NN prediction

“A Nerual Probabilistic Language Model”
好处：相似词的输入层或隐含层是接近的

在这个过程中， smoothing 会自动完成

问题：仅考虑前n个词，没有考虑前面所有的句子

RNN - Language Model

idea: 从上一个隐含层将上文所有信息引入

3.3 RNN

定义

RNNLM 的形式
在每一个time step:

RNN定义

训练

Model Training

Backpropagation through time(BPTT)

先考虑BP

在考虑BPTT

注： 对于RNN，每次数据$o_t$与$y_t$的损失反向传播，都会影响当前时间步的V和各个时间步的W（之后也会影响各个时间步的U）, 但是需要注意的是，各个时间步的W实际上是同一个W（U也是同一个U） ，也就是，一个step里的训练，多次更新了参数W（这与DNN不同，在DNN里，一个step的训练，只会影响一次W）

DNN对U的更新：
RNN：
Weights are tied together

每一个时间步的更新都会更新到同一个参数上

越到后面的时间步，对模型更新力度更大吗？
不是

Training Issue

多次乘以同一个W可能产生的问题：
vanishing gradient（梯度消失）
exploding gradient（梯度爆炸）

梯度消失与梯度爆炸的例子：

图为不同步的梯度统计（横轴为梯度，纵轴为有该梯度的参数的个数），随着步数的增加（也即累积），梯度为100， -100的参数变多，即为梯度爆炸，梯度为0的参数变多，即为梯度消失

可以这样考虑：
$$\begin{gathered} 0.1^{50}\approx 0（梯度消失） \\ 1.1^{50}\approx 117.39（梯度爆炸） \end{gathered}$$
也即，原先很小的梯度随着多次累积变大或变小

解决梯度爆炸–Clipping

解决梯度消失–Gating

Extension

双向RNN（Bidirectional RNN）

Deep Bidirectional RNN

3.3 RNN Applications

学习算法f是将input domain X 映射到 output domain Y
$$f:X\to Y$$
区别学习任务的关键：input domain 与 output domain
网络的设计需要考虑input 与 output 的类型与属性

NLP 中 input domain 与 output domain 的类型：

Sequential Input

Sequence Modeling（序列建模)
将序列中所有词的含义集成一个向量

方法：

• 基本方法：平均，加和
• 神经组合：Recursive NN(RvNN), RNN, CNN

情感分析
使用RNN将句子（词序列）编码为向量

RNN将句子建模为向量，并作为分类器DNN的输入

Sequential Output

Aligned Sequential Pairs(Tagging)

输入与输出一一对应，且顺序一致

POS Tagging(词性标注)
Natural Language Understanding(NLU)

Unaligned Sequential Pairs(Seq2Seq/Encoder-Decoder)

输入输出序列的词的顺序可能不一样，词与词之间也不一定是一一对应(align)

Machine Translation

两个RNN：encoding & decoding
Chit-Chat Dialogue Modeling （对话机器人）

总结