当前位置:   article > 正文

16现代循环神经网络—深度循环与双向循环

16现代循环神经网络—深度循环与双向循环

1.深度循环神经网络

回顾:循环神经网络

  • 如何将循环神经网络变深,以获得更多的非线性?
    • 通过添加多个隐藏层的方式来实现(和 MLP 没有本质区别),每个隐藏状态都连续地传递到当前层的下一个时间步和下一层的当前时间步

  • 类似于多层感知机,隐藏层数目隐藏单元数目都是超参数(它们是可以进行调整的)
  • 使用门控循环单元长短期记忆网络的隐状态替代上图中深度循环神经网络中的隐状态计算,就能够很容易地得到深度门控循环神经网络长短期记忆神经网络

总结

  • 深度循环神经网络使用多个隐藏层来获得更多的非线性性

    • GRU、RNN、LSTM 在结构上都是相同的,只是隐状态 H 的计算方式有区别
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/正经夜光杯/article/detail/888273
推荐阅读
相关标签
  

闽ICP备14008679号