深度学习的基础知识(RNN、LSTM等模型、梯度消失与爆炸、正则化、优化方式)_lstm分类如何优化

作者：你好赵伟 | 2024-06-28 09:09:03

踩

lstm分类如何优化

今天在看迁移学习中的一个模型COVE，里面用到了LSTM（ELMo也是），故而想回顾一下深度学习中的一些基础知识。

在此之前先介绍fully connected、CNN、RNN等重要architecture（参见台大李宏毅老师的教程）

RNN与传统的feedward的区别在于：允许信息的持久化，即基于原始的信息去处理新的信息。

但RNN不能处理长期依赖的问题（长期依赖指输出的根据离输出时刻太远，譬如根据当前视频段预测接下来视频，如果当前视频只与先前不久的视频相关，那么RNN可以很好的解决这个问题。但如果当前视频依赖于很久之前的视频，比如电影的结尾与开头相呼应，那么RNN就会表现很差）

Long Short Term Memory（LSTM）是一种 RNN 特殊的类型，可以很好解决这个问题。LSTM是在标准的RNN的基础上加入了其他的神经网络（gates），而这

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/你好赵伟/article/detail/765512