门控循环单元

门控循环单元

经典的神经网络很难捕捉时间序列中时间间隔较长的依赖，因为通常会产生梯度消失或者梯度爆炸的现象，梯度消失更加常见。梯度裁剪虽然可以有效解决梯度爆炸的问题，但无法处理梯度消失。

门控循环神经网络（gated recurrent neural network）的提出，解决了捕捉时间序列里时间距离较大的依赖关系。它通过可以学习的门来控制信息流动，门控神经单元是最常用的门控循环神经网络之一。

在经典的RNN中，通常通过如下方式来计算隐藏状态和输出：
$$\begin{gathered} {\mathbf{H}}_t=\varphi ({\mathbf{X}}_t{\mathbf{W}}_{xh}+{\mathbf{H}}_{t-1}{\mathbf{W}}_{hh}+{\mathbf{b}}_h) \\ {\mathbf{O}}_t={\mathbf{H}}_t{\mathbf{W}}_{hq}+{\mathbf{b}}_q. \end{gathered}$$
门控神经单元则是通过引入重置门（reset gate）和更新门（update gate）的概念来改变隐藏状态的计算方式。

门控神经单元的示意图：

更新门和更新门的计算方式如下式所示：
R t = σ ( X t W x r + H t − 1 W h r + b r ) , Z t = σ ( X t W x z + H t − 1 W h z + b z ) ,

$$\begin{aligned} \boldsymbol{R}_t = \sigma(\boldsymbol{X}_t \boldsymbol{W}_{xr} + \boldsymbol{H}_{t-1} \boldsymbol{W}_{hr} + \boldsymbol{b}_r),\\ \boldsymbol{Z}_t = \sigma(\boldsymbol{X}_t \boldsymbol{W}_{xz} + \boldsymbol{H}_{t-1} \boldsymbol{W}_{hz} + \boldsymbol{b}_z), \end{aligned}$$ Rt​=σ(Xt​Wxr​+Ht−1​Whr​+br​),Zt​=σ(Xt​Wxz​+Ht−1​Whz​+bz​),​

随后门控神经单元同通过计算候选隐藏状态（candidate activation）来辅助隐藏状态的计算。

$$\begin{gathered} {\tilde{\mathbf{H}}}_t=\text{tanh}({\mathbf{X}}_t{\mathbf{W}}_{xh}+\left({\mathbf{R}}_t\odot {\mathbf{H}}_{t-1}\right){\mathbf{W}}_{hh}+{\mathbf{b}}_h) \\ {\mathbf{H}}_t={\mathbf{Z}}_t\odot {\mathbf{H}}_{t-1}+(1-{\mathbf{Z}}_t)\odot {\tilde{\mathbf{H}}}_t. \end{gathered}$$

其中, ${\tilde{\mathbf{H}}}_t$ 表示候选隐藏状态。可以看到，重置门控制了上一步隐藏状态如何流入到当前的候选隐藏状态；更新门控制了包含当前时间步信息的候选隐藏状态如何更新当前隐藏状态。

总的来看，重置门有助于GRU捕捉时间序列里短期的依赖关系，更新门有助于捕捉时间序列里长期的依赖关系。

参考文献

[1] Chung, J., Gulcehre, C., Cho, K., & Bengio, Y. (2014). Empirical evaluation of gated recurrent neural networks on sequence modeling. arXiv preprint arXiv:1412.3
555.