深度学习之循环神经网络(RNN)_下图是一个简单的循环神经网络如,它由输入层、一个隐藏层和一个输出层组成

本文转自《零基础入门深度学习》系列文章,阅读原文请移步这里

一、语言模型

RNN是在自然语言处理领域中最先被用起来的，比如，RNN可以为语言模型来建模。那么，什么是语言模型呢？
我们可以和电脑玩一个游戏，我们写出一个句子前面的一些词，然后，让电脑帮我们写下接下来的一个词。比如下面这句：

我昨天上学迟到了，老师批评了____。

我们给电脑展示了这句话前面这些词，然后，让电脑写下接下来的一个词。在这个例子中，接下来的这个词最有可能是『我』，而不太可能是『小明』，甚至是『吃饭』。

语言模型就是这样的东西：给定一个一句话前面的部分，预测接下来最有可能的一个词是什么。

语言模型是对一种语言的特征进行建模，它有很多很多用处。比如在语音转文本(STT)的应用中，声学模型输出的结果，往往是若干个可能的候选词，这时候就需要语言模型来从这些候选词中选择一个最可能的。当然，它同样也可以用在图像到文本的识别中(OCR)。

使用RNN之前，语言模型主要是采用N-Gram。N可以是一个自然数，比如2或者3。它的含义是，假设一个词出现的概率只与前面N个词相关。我们以2-Gram为例。首先，对前面的一句话进行切词：

我 昨天 上学 迟到 了 ，老师 批评 了 ____。

如果用2-Gram进行建模，那么电脑在预测的时候，只会看到前面的『了』，然后，电脑会在语料库中，搜索『了』后面最可能的一个词。不管最后电脑选的是不是『我』，我们都知道这个模型是不靠谱的，因为『了』前面说了那么一大堆实际上是没有用到的。如果是3-Gram模型呢，会搜索『批评了』后面最可能的词，感觉上比2-Gram靠谱了不少，但还是远远不够的。因为这句话最关键的信息『我』，远在9个词之前！

现在读者可能会想，可以提升继续提升N的值呀，比如4-Gram、5-Gram…。实际上，这个想法是没有实用性的。因为我们想处理任意长度的句子，N设为多少都不合适；另外，模型的大小和N的关系是指数级的，4-Gram模型就会占用海量的存储空间。

所以，该轮到RNN出场了，RNN理论上可以往前看(往后看)任意多个词。

二、循环神经网络是啥

循环神经网络种类繁多，我们先从最简单的基本循环神经网络开始吧。

1、基本循环神经网络

下图是一个简单的循环神经网络如，它由输入层、一个隐藏层和一个输出层组成：

上图为一个抽象的循环神经网络单元，如果把上面带$W$的箭头去掉，就变成了最普通的全连接神经网络。$x$是一个向量，它表示输入层的值，（这里面没有画出来表示神经元节点的圆圈）；$s$是一个向量，它表示隐藏层的值（这里隐藏层面画了一个节点，你也可以想象这一层其实是多个节点，节点数与向量$s$的维度相同）；$U$是输入层到隐藏层的权重矩阵（读者可以回到《深度学习之神经网络和反向传播算法》，看看我们是怎样用矩阵来表示全连接神经网络的计算的）；$o$也是一个向量，它表示输出层的值；$V$是隐藏层到输出层的权重矩阵。那么，现在我们来看看$W$是什么。循环神经网络的隐藏层的值$s$不仅仅取决于当前这次的输入$x$，还取决于上一次隐藏层的值$s$。权重矩阵 $W$就是隐藏层上一次的值作为这一次的输入的权重。

如果我们把上面的图展开，循环神经网络也可以画成下面这个样子：

现在看上去就比较清楚了，这个网络在t时刻接收到输入$x_t$之后，隐藏层的值是$s_t$，输出值是。关键一点是，的值不仅仅取决于，还取决于。我们可以用下面的公式来表示循环神经网络的计算方法：$$o_t=g(V{s}_t)(式1)$$$$s_t=f(U{x}_t+W{s}_{t-1})(式2)$$式1是输出层的计算公式，输出层是一个全连接层，也就是它的每个节点都和隐藏层的每个节点相连。$V$是输出层的权重矩阵，$g$是激活函数。式2是隐藏层的计算公式，它是循环层。$U$是输入$x$的权重矩阵，$W$是上一次的值$s_{t-1}$作为这一次的输入的权重矩阵，$f$是激活函数。
从上面的公式我们可以看出，循环层和全连接层的区别就是循环层多了一个权重矩阵 $W$。
如果反复把式2带入到式1，我们将得到：$$o_t=g(V{s}_t)$$$$=Vf(U{x}_t+W{s}_{t-1})$$$$=Vf(U{x}_t+Wf(U{x}_{t-1}+W{s}_{t-2}))$$$$=Vf(U{x}_t+Wf(U{x}_{t-1}+Wf(U{x}_{t-2}+W{s}_{t-3})))$$$$=Vf(U{x}_t+Wf(U{x}_{t-1}+Wf(U{x}_{t-2}+Wf(U{x}_{t-3}+...))))$$从上面可以看出，循环神经网络的输出值$o_t$，是受前面历次输入值$x_t$、$x_{t-1}$、$x_{t-2}$、$x_{t-3}$、…影响的，这就是为什么循环神经网络可以往前看任意多个输入值的原因。

2、双向循环神经网络

对于语言模型来说，很多时候光看前面的词是不够的，比如下面这句话：

我的手机坏了，我打算____一部新手机。

可以想象，如果我们只看横线前面的词，手机坏了，那么我是打算修一修？换一部新的？还是大哭一场？这些都是无法确定的。但如果我们也看到了横线后面的词是『一部新手机』，那么，横线上的词填『买』的概率就大得多了。
在上一小节中的基本循环神经网络是无法对此进行建模的，因此，我们需要双向循环神经网络，如下图所示：

当遇到这种从未来穿越回来的场景时，难免处于懵逼的状态。不过我们还是可以用屡试不爽的老办法：先分析一个特殊场景，然后再总结一般规律。我们先考虑上图中，$y_2$的计算。
从上图可以看出，双向卷积神经网络的隐藏层要保存两个值，一个A参与正向计算，另一个值A’参与反向计算。最终的输出值$y_2$取决于$A_2$和$A_2^{\prime }$。其计算方法为：$$y_2=g(V{A}_2+V^{\prime }{A}_2^{\prime })$$$A_2$和$A_2^{\prime }$则分别计算：$$A_2=f(W{A}_1+U{x}_2)$$$$A_2^{\prime }=f(W^{\prime }{A}_3^{\prime }+U^{\prime }{x}_2)$$现在，我们已经可以看出一般的规律：正向计算时，隐藏层的值$s_t$与$s_{t_1}$有关；反向计算时，隐藏层的值$s_t^{\prime }$与$s_{t+1}^{\prime }$有关；最终的输出取决于正向和反向计算的加和。现在，我们仿照式1和式2，写出双向循环神经网络的计算方法：$$o_t=g(V{s}_t+V^{\prime }{s}_t^{\prime })$$$$s_t=f(U{x}_t+W{s}_{t-1})$$$$s_t^{\prime }=f(U^{\prime }{x}_t+W^{\prime }{s}_{t+1}^{\prime })$$从上面三个公式我们可以看到，正向计算和反向计算不共享权重，也就是说$U$和$U^{\prime }$、$W$和$W^{\prime }$、$V$和$V^{\prime }$都是不同的权重矩阵。

3、深度循环神经网络

前面我们介绍的循环神经网络只有一个隐藏层，我们当然也可以堆叠两个以上的隐藏层，这样就得到了深度循环神经网络。如下图所示：
我们把第$i$个隐藏层的值表示为$s_t^{(i)}$、$s_t^{{}^{\prime }(i)}$，则深度循环神经网络的计算方式可以表示为：$$o_t=g(V^{(i)}{s}_t^{(i)}+V^{{}^{\prime }(i)}{s}_t^{{}^{\prime }(i)})$$$$s_t^{(i)}=f(U^{(i)}{s}_t^{(i-1)}+W^{(i)}{s}_{t-1})$$$$s_t^{{}^{\prime }(i)}=f(U^{{}^{\prime }(i)}{s}_t^{{}^{\prime }(i-1)}+W^{\prime (i)}{s}_{t-1}^{\prime })$$$$...$$$$s_t^{(1)}=f(U^{(1)}{x}_t+W^{(1)}{s}_{t-1})$$$$s_t^{{}^{\prime }(1)}=f(U^{{}^{\prime }(1)}{x}_t+W^{\prime (1)}{s}_{t+1}^{\prime })$$

三、循环神经网络的训练

1、循环神经网络的训练算法：BPTT (Back Propagation Through Time)

BPTT算法是针对循环层的训练算法，它的基本原理和BP算法是一样的，也包含同样的三个步骤：

1. 前向计算每个神经元的输出值；
2. 反向计算每个神经元的误差项${\delta }_j$值，它是误差函数$E$对神经元$j$的加权输入$ne{t}_j$的偏导数；
3. 计算每个权重的梯度。

最后再用随机梯度下降算法更新权重。
循环层如下图所示：

前向计算
使用前面的(式2)对循环层进行前向计算：$$s_t=f(U{x}_t+W{s}_{t-1})$$注意，上面的$s_t$、$x_t$、$s_{t-1}$都是向量，用黑体字母表示；而$U$、$V$是矩阵，用大写字母表示。向量的下标表示时刻，例如，$s_t$表示在$t$时刻向量$s$的值。
我们假设输入向量$x$的维度是$m$，输出向量$s$的维度是$n$，则矩阵$U$的维度是$n\ast m$，矩阵$W$的维度是$n\ast n$。下面是上式展开成矩阵的样子，看起来更直观一些： [ s 1 t s 2 t . . s n t ] = f ( [ u 11 u 12 . . . u 1 m u 21 u 22 . . . u 2 m . . u n 1 u n 2 . . . u n m ] [ x 1 x 2 . . x n ] + [ w 11 w 12 . . . w 1 n w 21 w 22 . . . w 2 n . . w n 1 w n 2 . . . w n n ] [ s 1 t − 1 s 2 t − 1 . . s n t − 1 ] )

$$\begin{bmatrix}s_1^t \\ s_2^t \\ . \\. \\ s_n^t \end{bmatrix}$$ =f( $$\begin{bmatrix}u_{11}u_{12}...u_{1m} \\ u_{21}u_{22}...u_{2m} \\ . \\. \\ u_{n1}u_{n2}...u_{nm} \end{bmatrix}$$ $$\begin{bmatrix}x_1 \\ x_2 \\ . \\. \\ x_n \end{bmatrix}$$ + $$\begin{bmatrix}w_{11}w_{12}...w_{1n} \\ w_{21}w_{22}...w_{2n} \\ . \\. \\ w_{n1}w_{n2}...w_{nn} \end{bmatrix}$$ $$\begin{bmatrix}s_1^{t-1} \\ s_2^{t-1} \\ . \\. \\ s_n^{t-1} \end{bmatrix}$$ ) ⎣⎢⎢⎢⎢⎡​s1t​s2t​..snt​​⎦⎥⎥⎥⎥⎤​=f(⎣⎢⎢⎢⎢⎡​u11​u12​...u1m​u21​u22​...u2m​..un1​un2​...unm​​⎦⎥⎥⎥⎥⎤​⎣⎢⎢⎢⎢⎡​x1​x2​..xn​​⎦⎥⎥⎥⎥⎤​+⎣⎢⎢⎢⎢⎡​w11​w12​...w1n​w21​w22​...w2n​..wn1​wn2​...wnn​​⎦⎥⎥⎥⎥⎤​⎣⎢⎢⎢⎢⎡​s1t−1​s2t−1​..snt−1​​⎦⎥⎥⎥⎥⎤​)在这里我们用手写体字母表示向量的一个元素，它的下标表示它是这个向量的第几个元素，它的上标表示第几个时刻。例如，$s_j^t$表示向量$s$的第$j$个元素在$t$时刻的值。$u_{ji}$表示输入层第$i$个神经元到循环层第$j$个神经元的权重。$w_{ji}$表示循环层第$t-1$时刻的第$i$个神经元到循环层第$t$个时刻的第j个神经元的权重。

误差项的计算

BTPP算法将第$l$层$t$时刻的误差项${\delta }_t^l$值沿两个方向传播，一个方向是其传递到上一层网络，得到${\delta }_t^{l-1}$，这部分只和权重矩阵$U$有关；另一个是方向是将其沿时间线传递到初始$t_1$时刻，得到${\delta }_1^l$，这部分只和权重矩阵$W$有关。

我们用向量$ne{t}_t$表示神经元在t时刻的加权输入，因为：$$ne{t}_t=U{x}_t+W{s}_{t-1}$$$$s_{t-1}=f(ne{t}_{t-1})$$因此：$$\frac{\partial ne{t}_t}{\partial ne{t}_{t-1}}=\frac{\partial ne{t}_t}{\partial s_{t-1}}\frac{\partial s_{t-1}}{\partial ne{t}_{t-1}}$$我们用$a$表示列向量，用$a^T$表示行向量。上式的第一项是向量函数对向量求导，其结果为Jacobian矩阵： ∂ n e t t ∂ s t − 1 = [ ∂ n e t 1 t ∂ s 1 t − 1    ∂ n e t 1 t ∂ s 2 t − 1    .    .    .    ∂ n e t 1 t ∂ s n t − 1 ∂ n e t 2 t ∂ s 1 t − 1    ∂ n e t 2 t ∂ s 2 t − 1    .    .    .    ∂ n e t 2 t ∂ s n t − 1 . . ∂ n e t n t ∂ s 1 t − 1    ∂ n e t n t ∂ s 2 t − 1    .    .    .    ∂ n e t n t ∂ s n t − 1 ] \frac{\partial net_t}{\partial s_{t-1}}=

$$\begin{bmatrix} \frac{\partial net_1^t}{\partial s_1^{t-1}} \space\space \frac{\partial net_1^t}{\partial s_2^{t-1}} \space\space.\space\space. \space\space. \space\space \frac{\partial net_1^t}{\partial s_n^{t-1}} \\ \frac{\partial net_2^t}{\partial s_1^{t-1}} \space\space \frac{\partial net_2^t}{\partial s_2^{t-1}} \space\space.\space\space. \space\space. \space\space \frac{\partial net_2^t}{\partial s_n^{t-1}} \\ . \\. \\ \frac{\partial net_n^t}{\partial s_1^{t-1}} \space\space \frac{\partial net_n^t}{\partial s_2^{t-1}} \space\space.\space\space. \space\space. \space\space \frac{\partial net_n^t}{\partial s_n^{t-1}} \end{bmatrix}$$ ∂st−1​∂nett​​=⎣⎢⎢⎢⎢⎢⎢⎡​∂s1t−1​∂net1t​​  ∂s2t−1​∂net1t​​  .  .  .  ∂snt−1​∂net1t​​∂s1t−1​∂net2t​​  ∂s2t−1​∂net2t​​  .  .  .  ∂snt−1​∂net2t​​..∂s1t−1​∂netnt​​  ∂s2t−1​∂netnt​​  .  .  .  ∂snt−1​∂netnt​​​⎦⎥⎥⎥⎥⎥⎥⎤​$$=\left[\begin{array}{c}{w}_{11}{w}_{12}...w_{1n}\\ w_{21}{w}_{22}...w_{2n}\\ .\\ .\\ w_{n1}{w}_{n2}...w_{nn}\end{array}\right]$$$$=W$$同理，上式第二项也是一个Jacobian矩阵：$$\frac{\partial s_{t-1}}{\partial ne{t}_{t-1}}=\left[\begin{array}{c}\frac{\partial s_1^{t-1}}{\partial ne{t}_1^{t-1}}\frac{\partial s_1^{t-1}}{\partial ne{t}_2^{t-1}}...\frac{\partial s_1^{t-1}}{\partial ne{t}_n^{t-1}}\\ \frac{\partial s_2^{t-1}}{\partial ne{t}_1^{t-1}}\frac{\partial s_2^{t-1}}{\partial ne{t}_2^{t-1}}...\frac{\partial s_2^{t-1}}{\partial ne{t}_n^{t-1}}\\ .\\ .\\ \frac{\partial s_n^{t-1}}{\partial ne{t}_1^{t-1}}\frac{\partial s_n^{t-1}}{\partial ne{t}_2^{t-1}}...\frac{\partial s_n^{t-1}}{\partial ne{t}_n^{t-1}}\end{array}\right]$$$$=\left[\begin{array}{c}{f}^{\prime }(ne{t}_1^{t-1})0...0\\ 0f^{\prime }(ne{t}_1^{t-1})...0\\ .\\ .\\ 00...f^{\prime }(ne{t}_n^{t-1})\end{array}\right]$$$$=diag[f^{\prime }(ne{t}_{t-1})]$$其中，$diag[a]$表示根据向量$a$创建一个对角矩阵，即$$diag(a)=\left[\begin{array}{c}{a}_{1}0...0\\ 0a_2...0\\ .\\ .\\ 00...a_n\end{array}\right]$$最后，将两项合在一起，可得$$\frac{\partial ne{t}_t}{ne{t}_{t-1}}=\frac{\partial ne{t}_t}{\partial s_{t-1}}\frac{\partial s_{t-1}}{\partial ne{t}_{t-1}}$$$$=Wdiag[f^{\prime }(ne{t}_{t-1})]$$$$=\left[\begin{array}{c}{w}_{11}{f}^{\prime }(ne{t}_1^{t-1})w_{12}{f}^{\prime }(ne{t}_2^{t-1})...w_{1n}{f}^{\prime }(ne{t}_n^{t-1})\\ w_{21}{f}^{\prime }(ne{t}_1^{t-1})w_{22}{f}^{\prime }(ne{t}_2^{t-1})...w_{2n}{f}^{\prime }(ne{t}_n^{t-1})\\ .\\ .\\ w_{n1}{f}^{\prime }(ne{t}_1^{t-1})w_{n2}{f}^{\prime }(ne{t}_2^{t-1})...w_{nn}{f}^{\prime }(ne{t}_n^{t-1})\end{array}\right]$$上式描述了将$\delta$沿时间往前传递一个时刻的规律，有了这个规律，我们就可以求得任意时刻$k$的误差项${\delta }_k$：$${\delta }_k^T=\frac{\partial E}{\partial ne{t}_k}$$$$=\frac{\partial E}{\partial ne{t}_t}\frac{\partial ne{t}_t}{\partial ne{t}_k}$$$$=\frac{\partial E}{\partial ne{t}_t}\frac{\partial ne{t}_t}{\partial ne{t}_{t-1}}\frac{\partial ne{t}_{t-1}}{\partial ne{t}_{t-2}}...\frac{\partial ne{t}_{k+1}}{\partial ne{t}_k}$$$$=Wdiag[f^{\prime }(ne{t}_{t-1})]Wdiag[f^{\prime }(ne{t}_{t-2})]...Wdiag[f^{\prime }(ne{t}_k)]{\delta }_t^l$$$$={\delta }_t^T\prod _{i=k}^{t-1}Wdiag[f^{\prime }(ne{t}_i)](式3)$$（式3）就是将误差项沿时间反向传播的算法。

循环层将误差项反向传递到上一层网络，与普通的全连接层是完全一样的，这在《深度学习之神经网络和反向传播算法》中已经详细讲过了，在此仅简要描述一下。
循环层的加权输入$ne{t}^l$与上一层的加权输入$ne{t}^{l-1}$关系如下：$$ne{t}_t^l=U{a}_t^{l-1}+W{s}_{t-1}$$$$a_t^{l-1}=f^{l-1}(ne{t}_t^{l-1})$$上式中$ne{t}^l$是第$l$层神经元的加权输入(假设第$l$层是循环层)；$ne{t}^{l-1}$是第$l-1$层神经元的加权输入；$a_t^{l-1}$是第$l-1$层神经元的输出；$f^{l-1}$是第$l-1$层的激活函数。$$\frac{\partial ne{t}_t^l}{\partial ne{t}_t^{l-1}}=\frac{\partial ne{t}_t^l}{\partial a_t^{l-1}}\frac{\partial a_t^{l-1}}{\partial ne{t}_t^{l-1}}$$$$=Udiag[f^{{}^{\prime }l-1}(ne{t}_t^{l-1})]$$所以，$$({\delta }_t^{l-1})=\frac{\partial E}{\partial ne{t}_t^{l-1}}$$$$=\frac{\partial E}{\partial ne{t}_t^l}\frac{\partial ne{t}_t^l}{\partial ne{t}_t^{l-1}}$$$$=({\delta }_t^l{)}^{T}Udiag[f^{{}^{\prime }l-1}(ne{t}_t^{l-1})](式4)$$（式4）就是将误差项传递到上一层算法。

权重梯度的计算

现在，我们终于来到了BPTT算法的最后一步：计算每个权重的梯度。
首先，我们计算误差函数$E$对权重矩阵$W$的梯度$\frac{\partial E}{\partial W}$。

上图展示了我们到目前为止，在前两步中已经计算得到的量，包括每个时刻$t$循环层的输出值$s_t$，以及误差项${\delta }_t$。

在《深度学习之神经网络和反向传播算法》中介绍的全连接网络的权重梯度计算算法：只要知道了任意一个时刻的误差项${\delta }_t$，以及上一个时刻循环层的输出值$s_{t-1}$，就可以按照下面的公式求出权重矩阵在$t$时刻的梯度${\nabla }_{W_t}E$： ∇ W t E = [ δ 1 t s 1 t − 1    δ 1 t s 2 t − 1    .   .   .    δ 1 t s n t − 1 δ 2 t s 1 t − 1    δ 2 t s 2 t − 1    .   .   .    δ 2 t s n t − 1 . . δ n t s 1 t − 1    δ n t s 2 t − 1    .   .   .    δ n t s n t − 1 ]        ( 式 5 ) \nabla_{W_t}E=

$$\begin{bmatrix} \delta_1^t s_1^{t-1} \space\space \delta_1^t s_2^{t-1} \space\space .\space.\space. \space\space \delta_1^t s_n^{t-1} \\ \\ \delta_2^t s_1^{t-1} \space\space \delta_2^t s_2^{t-1} \space\space .\space.\space. \space\space \delta_2^t s_n^{t-1} \\ . \\.\\ \delta_n^t s_1^{t-1} \space\space \delta_n^t s_2^{t-1} \space\space .\space.\space. \space\space \delta_n^t s_n^{t-1} \end{bmatrix}$$ \space\space\space\space\space\space(式5) ∇Wt​​E=⎣⎢⎢⎢⎢⎢⎢⎡​δ1t​s1t−1​  δ1t​s2t−1​  . . .  δ1t​snt−1​δ2t​s1t−1​  δ2t​s2t−1​  . . .  δ2t​snt−1​..δnt​s1t−1​  δnt​s2t−1​  . . .  δnt​snt−1​​⎦⎥⎥⎥⎥⎥⎥⎤​      (式5)在（式5）中，${\delta }_i^t$表示t时刻误差项向量的第$i$个分量；$s_i^{t-1}$表示$t-1$时刻循环层第$i$个神经元的输出值。
我们下面可以简单推导一下(式5)。$$ne{t}_t=U{x}_t+W{s}_{t-1}$$$$\left[\begin{array}{c}ne{t}_1^t\\ ne{t}_2^t\\ .\\ .\\ ne{t}_n^t\end{array}\right]=U{x}_t+\left[\begin{array}{c}{w}_{11}{w}_{12}...w_{1n}\\ w_{21}{w}_{22}...w_{2n}\\ .\\ .\\ w_{n1}{w}_{n2}...w_{nn}\end{array}\right]\left[\begin{array}{c}{s}_1^{t-1}\\ s_2^{t-1}\\ .\\ .\\ s_n^{t-1}\end{array}\right]$$$$=U{x}_t+\left[\begin{array}{c}{w}_{11}{s}_1^{t-1}+w_{12}{s}_2^{t-1}+...+w_{1n}{s}_n^{t-1}\\ w_{21}{s}_1^{t-1}+w_{22}{s}_2^{t-1}+...+w_{2n}{s}_n^{t-1}\\ .\\ .\\ w_{n1}{s}_1^{t-1}+w_{n2}{s}_2^{t-1}+...+w_{nn}{s}_n^{t-1}\end{array}\right]$$因为对$W$求导与$U{x}_t$无关，我们不再考虑。现在，我们考虑对权重项$w_{ji}$求导。通过观察上式我们可以看到$w_{ji}$只与$ne{t}_j^t$有关，所以：$$\frac{\partial E}{\partial w_{ji}}=\frac{\partial E}{\partial ne{t}_j^t}\frac{\partial ne{t}_j^t}{\partial w_{ji}}$$$$={\delta }_j^t{s}_i^{t-1}$$按照上面的规律就可以生成(式5)里面的矩阵。
我们已经求得了权重矩阵$W$在$t$时刻的梯度${\nabla }_{W_t}E$，最终的梯度${\nabla }_{W}E$是各个时刻的梯度之和：$${\nabla }_{W}E=\sum _{i=1}^t{\nabla }_{W_t}E$$$$=\left[\begin{array}{c}{\delta }_1^t{s}_1^{t-1}{\delta }_1^t{s}_2^{t-1}...{\delta }_1^t{s}_n^{t-1}\\ \\ {\delta }_2^t{s}_1^{t-1}{\delta }_2^t{s}_2^{t-1}...{\delta }_2^t{s}_n^{t-1}\\ .\\ .\\ {\delta }_n^t{s}_1^{t-1}{\delta }_n^t{s}_2^{t-1}...{\delta }_n^t{s}_n^{t-1}\end{array}\right]+...+\left[\begin{array}{c}{\delta }_1^1{s}_1^0{\delta }_1^1{s}_2^0...{\delta }_1^1{s}_n^0\\ \\ {\delta }_2^1{s}_1^0{\delta }_2^1{s}_2^0...{\delta }_2^1{s}_n^0\\ .\\ .\\ {\delta }_n^1{s}_1^0{\delta }_n^1{s}_2^0...{\delta }_n^1{s}_n^0\end{array}\right]（式6）$$（式6）就是计算循环层权重矩阵W的梯度的公式。

----------数学公式超高能预警----------
前面已经介绍了${\nabla }_{W}E$的计算方法，看上去还是比较直观的。然而，读者也许会困惑，为什么最终的梯度是各个时刻的梯度之和呢？我们前面只是直接用了这个结论，实际上这里面是有道理的，只是这个数学推导比较绕脑子。感兴趣的同学可以仔细阅读接下来这一段，它用到了矩阵对矩阵求导、张量与向量相乘运算的一些法则。

我们还是从这个式子开始：$$ne{t}_t=U{x}_t+Wf(ne{t}_{t-1})$$因为$U{x}_t$与$W$完全无关，我们把它看做常量。现在，考虑第一个式子加号右边的部分，因为$W$和$f(ne{t}_{t-1})$都是$W$的函数，因此我们要用到大学里面都学过的导数乘法运算：$$(uv{)}^{\prime }=u^{\prime }v+u{v}^{\prime }$$因此，上面第一个式子写成：$$\frac{\partial ne{t}_t}{\partial W}=\frac{\partial W}{\partial W}f(ne{t}_{t-1})+W\frac{\partial f(ne{t}_{t-1})}{\partial W}$$我们最终需要计算的是${\nabla }_{W}E$：$${\nabla }_{W}E=\frac{\partial E}{\partial W}$$$$=\frac{\partial E}{\partial ne{t}_t}\frac{\partial ne{t}_t}{\partial W}$$$$={\delta }_t^T\frac{\partial W}{\partial W}f(ne{t}_{t-1})+{\delta }_t^{T}W\frac{\partial f(ne{t}_{t-1})}{\partial W}（式7）$$我们先计算（式7）加号左边的部分。$\frac{\partial W}{\partial W}$是矩阵对矩阵求导，其结果是一个四维张量(tensor)，如下所示： ∂ W ∂ W = [ ∂ w 11 ∂ W ∂ w 12 ∂ W . . . ∂ w 1 n ∂ W ∂ w 21 ∂ W ∂ w 22 ∂ W . . . ∂ w 2 n ∂ W . . ∂ w n 1 ∂ W ∂ w n 2 ∂ W . . . ∂ w n n ∂ W ]                    \frac{\partial W}{\partial W}=

$$\begin{bmatrix} \frac{\partial w_{11}}{\partial W} \frac{\partial w_{12}}{\partial W} ... \frac{\partial w_{1n}}{\partial W}\\ \\ \frac{\partial w_{21}}{\partial W} \frac{\partial w_{22}}{\partial W} ... \frac{\partial w_{2n}}{\partial W} \\.\\.\\ \frac{\partial w_{n1}}{\partial W} \frac{\partial w_{n2}}{\partial W} ... \frac{\partial w_{nn}}{\partial W} \end{bmatrix}$$ \space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space ∂W∂W​=⎣⎢⎢⎢⎢⎢⎢⎡​∂W∂w11​​∂W∂w12​​...∂W∂w1n​​∂W∂w21​​∂W∂w22​​...∂W∂w2n​​..∂W∂wn1​​∂W∂wn2​​...∂W∂wnn​​​⎦⎥⎥⎥⎥⎥⎥⎤​                  $$=\left[\begin{array}{c}\left[\begin{array}{c}\frac{\partial w_{11}}{\partial w_{11}}\frac{\partial w_{11}}{\partial w_{12}}...\frac{\partial w_{11}}{\partial w_{1n}}\\ \\ \frac{\partial w_{11}}{\partial w_{21}}\frac{\partial w_{11}}{\partial w_{22}}...\frac{\partial w_{11}}{\partial w_{2n}}\\ .\\ .\\ \frac{\partial w_{11}}{\partial w_{n1}}\frac{\partial w_{11}}{\partial w_{n2}}...\frac{\partial w_{11}}{\partial w_{nn}}\end{array}\right]\left[\begin{array}{c}\frac{\partial w_{12}}{\partial w_{11}}\frac{\partial w_{12}}{\partial w_{12}}...\frac{\partial w_{12}}{\partial w_{1n}}\\ \\ \frac{\partial w_{12}}{\partial w_{21}}\frac{\partial w_{12}}{\partial w_{22}}...\frac{\partial w_{12}}{\partial w_{2n}}\\ .\\ .\\ \frac{\partial w_{12}}{\partial w_{n1}}\frac{\partial w_{12}}{\partial w_{n2}}...\frac{\partial w_{12}}{\partial w_{nn}}\end{array}\right]...\\ .\\ .\end{array}\right]$$$$=\left[\begin{array}{c}\left[\begin{array}{c}10...0\\ 00...0\\ .\\ .\\ 00...0\end{array}\right]\left[\begin{array}{c}01...0\\ 00...0\\ .\\ .\\ 00...0\end{array}\right]...\\ .\\ .\end{array}\right]$$接下来，我们知道$s_{t-1}=f(ne{t}_{t_1})$，它是一个列向量。我们让上面的四维张量与这个向量相乘，得到了一个三维张量，再左乘行向量${\delta }_t^T$，最终得到一个矩阵：$${\delta }_t^T\frac{\partial W}{\partial W}f(ne{t}_{t-1})={\delta }_t^T\frac{\partial W}{\partial W}{s}_{t-1}$$$$={\delta }_t^T\left[\begin{array}{c}\left[\begin{array}{c}10...0\\ 00...0\\ .\\ .\\ 00...0\end{array}\right]\left[\begin{array}{c}01...0\\ 00...0\\ .\\ .\\ 00...0\end{array}\right]...\\ .\\ .\end{array}\right]\left[\begin{array}{c}{s}_1^{t-1}\\ s_2^{t-1}\\ .\\ .\\ s_n^{t-1}\end{array}\right]$$$$={\delta }_t^T\left[\begin{array}{c}\left[\begin{array}{c}{s}_1^{t-1}\\ 0\\ .\\ .\\ 0\end{array}\right]\left[\begin{array}{c}{s}_2^{t-1}\\ 0\\ .\\ .\\ 0\end{array}\right]...\\ .\\ .\end{array}\right]$$$$=\left[\begin{array}{c}{\delta }_1^t{\delta }_2^t...{\delta }_n^t\end{array}\right]\left[\begin{array}{c}\left[\begin{array}{c}{s}_1^{t-1}\\ 0\\ .\\ .\\ 0\end{array}\right]\left[\begin{array}{c}{s}_2^{t-1}\\ 0\\ .\\ .\\ 0\end{array}\right]...\\ .\\ .\end{array}\right]$$$$=\left[\begin{array}{c}{\delta }_1^t{s}_1^{t-1}{\delta }_1^t{s}_2^{t-1}...{\delta }_1^t{s}_n^{t-1}\\ \\ {\delta }_2^t{s}_1^{t-1}{\delta }_2^t{s}_2^{t-1}...{\delta }_2^t{s}_n^{t-1}\\ .\\ .\\ {\delta }_n^t{s}_1^{t-1}{\delta }_n^t{s}_2^{t-1}...{\delta }_n^t{s}_n^{t-1}\end{array}\right]$$$$={\nabla }_{W_t}E$$接下来，我们计算（式7）加号右边的部分：$${\delta }_t^{T}W\frac{\partial f(ne{t}_{t-1})}{\partial W}={\delta }_t^{T}W\frac{\partial f(ne{t}_{t-1})}{\partial ne{t}_{t-1}}\frac{\partial ne{t}_{t-1}}{\partial W}$$$$={\delta }_t^{T}W{f}^{\prime }(ne{t}_{t-1})\frac{\partial ne{t}_{t-1}}{\partial W}$$$$={\delta }_t^T\frac{\partial ne{t}_t}{\partial ne{t}_{t-1}}\frac{\partial ne{t}_{t-1}}{\partial W}$$$$={\delta }_{t-1}^T\frac{\partial ne{t}_{t-1}}{\partial W}$$于是，我们得到了如下递推公式：$${\nabla }_{W}E=\frac{\partial E}{\partial W}$$$$=\frac{\partial E}{\partial ne{t}_t}\frac{\partial ne{t}_t}{\partial W}$$$$={\nabla }_{W_t}E+{\delta }_{t-1}^T\frac{\partial ne{t}_{t-1}}{\partial W}$$$$={\nabla }_{W_t}E+{\nabla }_{W_{t-1}}E+{\delta }_{t-2}^T\frac{\partial ne{t}_{t-2}}{\partial W}$$$$={\nabla }_{W_t}E+{\nabla }_{W_{t-1}}E+...+{\nabla }_{W_1}E$$$$=\sum _{i=1}^t{\nabla }_{W_t}E$$这样，我们就证明了：最终的梯度${\nabla }_{W}E$是各个时刻的梯度之和。
----------数学公式超高能预警解除----------

同权重矩阵$W$类似，我们可以得到权重矩阵$U$的计算方法。 ∇ U t E = [ δ 1 t x 1 t    δ 1 t x 2 t    . . .    δ 1 t x m t δ 2 t x 1 t    δ 2 t x 2 t    . . .    δ 2 t x m t . . δ n t x 1 t    δ n t x 2 t    . . .    δ n t x m t ]       ( 式 8 ) \nabla_{U_t}E=

$$\begin{bmatrix} \delta_1^tx_1^t \space\space \delta_1^tx_2^t\space\space...\space\space\delta_1^tx_m^t \\ \delta_2^tx_1^t \space\space \delta_2^tx_2^t\space\space...\space\space\delta_2^tx_m^t \\.\\.\\ \delta_n^tx_1^t \space\space \delta_n^tx_2^t\space\space...\space\space\delta_n^tx_m^t \end{bmatrix}$$ \space\space\space\space\space(式8) ∇Ut​​E=⎣⎢⎢⎢⎢⎡​δ1t​x1t​  δ1t​x2t​  ...  δ1t​xmt​δ2t​x1t​  δ2t​x2t​  ...  δ2t​xmt​..δnt​x1t​  δnt​x2t​  ...  δnt​xmt​​⎦⎥⎥⎥⎥⎤​     (式8)（式8）是误差函数在t时刻对权重矩阵$U$的梯度。和权重矩阵$W$一样，最终的梯度也是各个时刻的梯度之和：$${\nabla }_{U}E=\sum _{i=1}^t{\nabla }_{U_t}E$$具体的证明这里就不再赘述了，感兴趣的读者可以练习推导一下。

2、RNN的梯度爆炸和消失问题

不幸的是，实践中前面介绍的几种RNNs并不能很好的处理较长的序列。一个主要的原因是，RNN在训练中很容易发生梯度爆炸和梯度消失，这导致训练时梯度不能在较长序列中一直传递下去，从而使RNN无法捕捉到长距离的影响。
为什么RNN会产生梯度爆炸和消失问题呢？ 我们接下来将详细分析一下原因。我们根据（式3）可得：$${\delta }_k^T={\delta }_t^T\prod _{i=k}^{t-1}Wdiag[f^{\prime }(ne{t}_i)]$$$$\Vert {\delta }_k^T\Vert ⩽\Vert {\delta }_t^T\Vert \prod _{i=k}^{t-1}\Vert W\Vert \Vert diag[f^{\prime }(ne{t}_i)]\Vert$$$$⩽\Vert {\delta }_t^T\Vert ({\beta }_W{\beta }_f{)}^{t-k}$$上式的$\beta$定义为矩阵的模的上界。因为上式是一个指数函数，如果$t-k$很大的话（也就是向前看很远的时候），会导致对应的误差项的值增长或缩小的非常快，这样就会导致相应的梯度爆炸和梯度消失问题（取决于大于1还是小于1）。
通常来说，梯度爆炸更容易处理一些。因为梯度爆炸的时候，我们的程序会收到NaN错误。我们也可以设置一个梯度阈值，当梯度超过这个阈值的时候可以直接截取。
梯度消失更难检测，而且也更难处理一些。总的来说，我们有三种方法应对梯度消失问题：

1. 合理的初始化权重值。初始化权重，使每个神经元尽可能不要取极大或极小值，以躲开梯度消失的区域。
2. 使用relu代替sigmoid和tanh作为激活函数。
3. 使用其他结构的RNNs，比如长短时记忆网络（LTSM）和Gated Recurrent Unit（GRU），这是最流行的做法。我们将在以后的文章中介绍这两种网络。

四、RNN的应用举例——基于RNN的语言模型

现在，我们介绍一下基于RNN语言模型。我们首先把词依次输入到循环神经网络中，每输入一个词，循环神经网络就输出截止到目前为止，下一个最可能的词。例如，当我们依次输入：

我 昨天 上学 迟到 了

神经网络的输出如下图所示：
其中，s和e是两个特殊的词，分别表示一个序列的开始和结束。

1、向量化

我们知道，神经网络的输入和输出都是向量，为了让语言模型能够被神经网络处理，我们必须把词表达为向量的形式，这样神经网络才能处理它。
神经网络的输入是词，我们可以用下面的步骤对输入进行向量化：

1. 建立一个包含所有词的词典，每个词在词典里面有一个唯一的编号。
2. 任意一个词都可以用一个$N$维的one-hot向量来表示。其中，$N$是词典中包含的词的个数。假设一个词在词典中的编号是$i$，$v$是表示这个词的向量，$v_j$是向量的第$j$个元素，则：$$v_j=\{\begin{array}{ll}1& \text{if }j=i\\ 0& \text{if }j\ne i\end{array}$$

上面这个公式的含义，可以用下面的图来直观的表示：
使用这种向量化方法，我们就得到了一个高维、稀疏的向量（稀疏是指绝大部分元素的值都是0）。处理这样的向量会导致我们的神经网络有很多的参数，带来庞大的计算量。因此，往往会需要使用一些降维方法，将高维的稀疏向量转变为低维的稠密向量。不过这个话题我们就不再这篇文章中讨论了。

语言模型要求的输出是下一个最可能的词，我们可以让循环神经网络计算计算词典中每个词是下一个词的概率，这样，概率最大的词就是下一个最可能的词。因此，神经网络的输出向量也是一个N维向量，向量中的每个元素对应着词典中相应的词是下一个词的概率。如下图所示：

2、Softmax层

前面提到，语言模型是对下一个词出现的概率进行建模。那么，怎样让神经网络输出概率呢？方法就是用softmax层作为神经网络的输出层。

我们先来看一下softmax函数的定义：$$g(z_i)=\frac{e^{z_i}}{{\sum }_k{e}^{z_k}}$$这个公式看起来可能很晕，我们举一个例子。Softmax层如下图所示：
从上图我们可以看到，softmax layer的输入是一个向量，输出也是一个向量，两个向量的维度是一样的（在这个例子里面是4）。输入向量$x=[1234]$经过softmax层之后，经过上面的softmax函数计算，转变为输出向量$y=[0.030.090.240.64]$。计算过程为：$$y_1=\frac{e^{x_i}}{{\sum }_k{e}^{x_k}}$$$$=\frac{e^1}{e^1+e^2+e^3+e^4}$$$$=0.03$$$$y_2=\frac{e^2}{e^1+e^2+e^3+e^4}$$$$=0.09$$$$y_3=\frac{e^3}{e^1+e^2+e^3+e^4}$$$$=0.24$$$$y_4=\frac{e^4}{e^1+e^2+e^3+e^4}$$$$=0.64$$我们来看看输出向量$y$的特征：

1. 每一项为取值为0-1之间的正数；
2. 所有项的总和是1。

我们不难发现，这些特征和概率的特征是一样的，因此我们可以把它们看做是概率。对于语言模型来说，我们可以认为模型预测下一个词是词典中第一个词的概率是0.03，是词典中第二个词的概率是0.09，以此类推。

3、语言模型的训练

可以使用监督学习的方法对语言模型进行训练，首先，需要准备训练数据集。接下来，我们介绍怎样把语料

我 昨天 上学 迟到 了

转换成语言模型的训练数据集。
首先，我们获取输入-标签对：

然后，使用前面介绍过的向量化方法，对输入$x$和标签$y$进行向量化。这里面有意思的是，对标签$y$进行向量化，其结果也是一个one-hot向量。例如，我们对标签『我』进行向量化，得到的向量中，只有第2019个元素的值是1，其他位置的元素的值都是0。它的含义就是下一个词是『我』的概率是1，是其它词的概率都是0。

最后，我们使用交叉熵误差函数作为优化目标，对模型进行优化。

在实际工程中，我们可以使用大量的语料来对模型进行训练，获取训练数据和训练的方法都是相同的。

4、交叉熵误差

一般来说，当神经网络的输出层是softmax层时，对应的误差函数E通常选择交叉熵误差函数，其定义如下：$$L(y,o)=-\frac{1}{N}\sum _{n\in N}{y}_{n}log{o}_n$$在上式中，$N$是训练样本的个数，向量$y_n$是样本的标记，向量$o_n$是网络的输出。标记$y_n$是一个one-hot向量，例如$y_1=[1,0,0,0]$，如果网络的输出$o=[0.03,0.09,0.24,0.64]$，那么，交叉熵误差是（假设只有一个训练样本，即$N=1$）：$$L=-\frac{1}{N}\sum _{n\in N}{y}_{n}log{o}_n$$$$=-y_{1}log{o}_1$$$$=-(1\ast log0.03+0\ast log0.09+0\ast log0.24+0\ast log0.64)$$$$=3.51$$我们当然可以选择其他函数作为我们的误差函数，比如最小平方误差函数(MSE)。不过对概率进行建模时，选择交叉熵误差函数更make sense。