深度学习中的循环神经网络GRU详解

(一)、什么是循环神经网络GRU？
GRU指的是门控循环单元（Gated Recurrent Units ），它是循环神经网络中的一种门控机制，是由Kyunghyun Cho等人于2014年引入的，它与具有遗忘门的长短期记忆网络（LSTM）相类似。

(二)、GRU实现记忆的原理是什么？
参考：深度学习中的循环神经网络LSTM详解

(三)、GRU的原理公式是什么？

经典的GRU中，第t步的更新计算公式如下（$\odot$表示元素点乘）：
{ 输 入 ： x i n p u t = c o n c a t [ h t − 1 , x t ] 重 置 门 神 经 元 ： r t = σ ( x i n p u t W r + b r ) 记 忆 门 神 经 元 ： h ~ t = tanh ⁡ ( [ r t ⊙ h t − 1 , x i n p u t ] W h + b h ) 输 入 门 神 经 元 ： z t = σ ( x i n p u t W z + b z ) 输 入 后 的 记 忆 ： h ~ t ′ = z t ⊙ h t ~ 遗 忘 门 “ 神 经 元 ” ： f t = 1 − z t 遗 忘 后 的 t − 1 时 刻 记 忆 ： h t − 1 ′ = f t ⊙ h t − 1 t 时 刻 的 记 忆 ： h t = h t − 1 ′ + h ~ t ′ \begin{cases} 输入：x_{input}=concat[h_{t-1},x_t]\\