神经网络与深度学习作业10：第六章课后题（LSTM | GRU）_神经网络与深度学习课后习题

作者：繁依Fanyi0 | 2024-05-12 05:47:02

踩

神经网络与深度学习课后习题

习题6-3 当使用公式(6.50)作为循环神经网络得状态更新公式时，分析其可能存在梯度爆炸的原因并给出解决办法.

习题6-4推导LSTM 网络中参数的梯度,并分析其避免梯度消失的效果.

习题6-5推导GRU网络中参数的梯度,并分析其避免梯度消失的效果. (选做)

附加题6-1P:什么时候应该用GRU?什么时候用LSTM?(选做)

参考资料

习题6-3 当使用公式(6.50)作为循环神经网络得状态更新公式时，分析其可能存在梯度爆炸的原因并给出解决办法.

梯度爆炸问题产生的原因是由于公式 $Z_{k}=Uh_{k-1}+Wx_{k}+b$ 作为函数 $g(\ast )$ 在第k时刻的输入时，计算误差项 $\delta _{t,k}=\frac{\partial L_{t}}{\partial z_{k}}$ ，梯度可能会过大，从而导致梯度爆炸，可以通过使用LSTM网络来增加门控机制，以此来解决该问题。

习题6-4推导LSTM 网络中参数的梯度,并分析其避免梯度消失的效果.

LSTM中通过门控机制解决梯度问题，遗忘门，输入门和输出门是非0就是1的，门为1时，梯度能够很好的在LSTM传递，减轻了梯度消失发生的概率，门为0时，上一刻的信息对当前时刻无影响，因此也没必要接受传递更新参数。

习题6-5推导GRU网络中参数的梯度,并分析其避免梯度消失的效果. (选做)

GRU具有调节信息流动的门单元，但没有一个单独的记忆单元，GRU将输入门和遗忘门整合成一个升级门，通过门来控制梯度。这种方式使网络学会合理地设置门控数值，从而决定何时让梯度消失，何时保持梯度。

附加题6-1P:什么时候应该用GRU?什么时候用LSTM?(选做)

相较于LSTM，由于 GRU 参数更少，收敛速度更快，因此花费时间要少很多。而LSTM则更加灵活，因为它具有三个门控。但实际上，二者之间的表现差距往往并不大，远没有调参所带来的效果明显，二者之间的选择要根据具体的任务和数据集而定。

参考资料

GRU和LSTM在各种使用场景应该如何选择？ - 知乎 (zhihu.com)

lstm-bp过程的手工源码实现 - Bob·li - 博客园 (cnblogs.com)

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/557820

神经网络与深度学习 作业10：第六章课后题（LSTM | GRU）_神经网络与深度学习课后习题

习题6-3 当使用公式(6.50)作为循环神经网络得状态更新公式时，分析其可能存在梯度爆炸的原因并给出解决办法.

习题6-4推导LSTM 网络中参数的梯度,并分析其避免梯度消失的效果.

习题6-5推导GRU网络中参数的梯度,并分析其避免梯度消失的效果. (选做)

附加题6-1P:什么时候应该用GRU?什么时候用LSTM?(选做)

参考资料

神经网络与深度学习作业10：第六章课后题（LSTM | GRU）_神经网络与深度学习课后习题