GRU 门控循环单元_gru重置门和更新门

深度学习 3 2023.5.11

前言

门控循环单元。与LSTM结构相近，主要就是两个门，重置门和更新门。

一、重置门

重置门用于决定遗忘先前信息的程度。

重置门控制了上一时间步的隐藏状态如何流入当前时间步的候选隐藏状态。而上一时间步的隐藏状态可能包含了时间序列截至上一时间步的全部历史信息。

二、更新门

更新门的作用类似于 LSTM 中的遗忘门和输入门。它决定了要忘记哪些信息以及哪些新信息需要被添加。首先通过重置门，得到用来决定历史的状态向量哪些该保留哪些该遗忘，然后通过得到新的候选隐藏状态，门控循环单元将计算候选隐藏状态来辅助后面的隐藏状态计算。

三、隐藏状态

重置门有助于捕捉时间序列中的短期依赖关系，因为它决定了在当前时间步中，模型是否应该忽略之前的状态信息并更新为新的状态信息。在序列数据中，短期依赖关系指的是在相邻的时间步之间存在的相关性，因此重置门允许模型在每个时间步中重新考虑之前的状态信息，并对新的输入进行适当调整，从而更好地捕捉这些短期依赖关系。

更新门有助于捕捉时间序列中的长期依赖关系，因为它可以决定当前时间步的状态信息中应该包含多少旧信息和多少新信息。在序列数据中，长期依赖关系指的是在时间步之间存在较长的相关性，需要保留之前的状态信息以便更好地预测后续的输出。更新门允许模型在每个时间步中平衡当前状态的信息量，从而更好地捕捉这些长期依赖关系。