深度学习 | 关于GRU你必须知道的20个知识_加权gru

1. GRU是什么?
GRU是门控循环单元(Gated Recurrent Unit)的简称。它是一种特殊的循环神经网络,通过门机制来控制信息的流动,实现对序列的长程依赖建模。

2. GRU与LSTM的区别是什么?
GRU与LSTM的主要区别在于GRU没有细胞状态和忘记门,它合并了LSTM的输入门和遗忘门,并没有输出门,这使得GRU的结构更简单。但GRU仍能够效果很好地建模长序列。

3. GRU的门机制包括哪些?
GRU包括更新门和重置门两种门机制。更新门决定当前隐藏状态如何与先前隐藏状态相结合。重置门决定先前隐藏状态的作用程度。

4. GRU的工作方式是什么?
GRU在每个时间步将当前输入,先前隐藏状态和两个门的输出相结合来计算当前隐藏状态。当前隐藏状态又同时影响两种门的输出,实现一个循环更新过程。

5. GRU的表达式是什么?
GRU的表达式为:
重置门:r = sigmoid(XU + H * U_r)
更新门: z = sigmoid(XW + H * U_z)
okeep = tanH(XW + r * H * U_h)
候选隐藏状态:h~ = okeep * (1 - z) + z * H 
当前隐藏状态:H = h~其中X代表输入,U和W是权重矩阵,H代表先前隐藏状态。

6. GRU单元为什么可以捕捉长依赖关系?
GRU通过门机制可以选择性地遗忘先前的隐藏状态,这样既可以利用长期记忆,也可以及时抛弃那些可能会对当前输出产生误导的信息,这使得GRU能够更好地建模长序列。

7. GRU相比于RNN有什么优势?
与普通RNN相比,GRU可以更好地捕捉长序列的长程依赖,缓解梯度消失现象;与LSTM相比,GRU的参数更少,计算更简洁,所以训练速度更快。

8. PyTorch是如何实现GRU的?
PyTorch将RNNCell抽象为RNNCell class,GRUCell就是继承自RNNCell的子类。我们可以这样实现GRU:

python
gru = nn.GRUCell(input_size, hidden_size) 
output = []
h = torch.zeros(1, hidden_size)
for x in input:
    h = gru(x, h)
    output.append(h)

9. TensorFlow是如何实现GRU的?
在TensorFlow中,我们可以这样实现GRU:

python
gru_cell = tf.contrib.rnn.GRUCell(hidden_size)
outputs, states = tf.nn.dynamic_rnn(gru_cell, inputs, dtype=tf.float32)

10. OpenAI GPT也使用了GRU吗?
OpenAI GPT使用的是Transformer模型,它并没有使用GRU或LSTM等循环神经网络结构。Transformer依赖自注意力机制来建模序列的依赖关系,这不同于GRU通过隐藏状态来捕获序列依赖。

11. Bidirectional GRU是什么?
Bidirectional GRU包含一个正向GRU和一个反向GRU。正向GRU从头到尾处理输入序列,反向GRU从尾到头处理输入序列。最终的输出是两个GRU的输出拼接,这可以利用输入序列的双向信息。

12. Stacked GRU是什么?
Stacked GRU将多个GRU层叠加,前一层的输出作为下一层的输入。这可以增强模型的表达能力,捕获更复杂的序列特征。

13. GRU的实现细节有哪些?
GRU的主要实现细节有:
1) sigmoid激活函数用于门控机制
2) tanh激活函数用于候选隐藏状态
3) 矩阵乘法用于各个门之间的转换
4) element-wise乘法用于门的功能执行
5) 可学习的参数有重置门矩阵U_r,更新门矩阵U_z,候选隐藏状态矩阵U_h等

14. GRU的训练算法是什么?
与一般的循环神经网络一样,GRU常使用的训练算法是BPTT(Back Propagation Through Time)和TRUNCATED BPTT。

15. 使用GRU有哪些注意事项?
使用GRU的注意事项有:
1) 选择恰当的隐藏状态大小,一般取决于输入序列的复杂度
2) 适当的训练顺序,可以从短序列开始,逐渐过渡到长序列
3) 采取措施缓解过拟合,如添加dropout、投入噪声等
4) 不同数据集和任务之间的超参数调整
5) 正确设置batch_first等参数

16. PyTorch和TensorFlow的GRU实现有什么不同?
PyTorch的GRU实现基于RNNCell,我们需要手动迭代计算隐藏状态。TensorFlow的GRU实现基于tf.rnn.GRUCell和tf.nn.dynamic_rnn,可以自动完成迭代和回传过程。TensorFlow的实现更加抽象,PyTorch的更加灵活。

17. GRU可以用于哪些应用场景?
GRU经常用在序列建模的任务中,如:
机器翻译、文本摘要、语音识别、图像字幕、Protein结构预测等。

18. GRU的优点和缺点分别是什么?
GRU的主要优点是:能够捕捉长序列的依赖,结构简单,容易实现并调参。
GRU的主要缺点是:仍然存在梯度消失问题,对超长序列建模能力有限;相比LSTM有更多的门控机制,表达能力稍弱。

19. 新的RNN变体还有哪些?
新的RNN变体还有QRNN、IndRNN、SRU等。它们在结构和实现上都有所创新,能够在一定程度上缓解循环神经网络的问题,并取得较好的效果。

20. Attention机制如何应用在GRU中?
在GRU中,我们可以在最终的隐藏状态上施加Attention机制,产生一个注意力权重向量。然后将这个权重向量与编码器中每个隐藏状态做加权求和,作为GRU的输出。这可以让GRU更加"聚焦"在输入序列的相关部分,产生更好的输出结果。