赞
踩
LSTM(Long Short-Term Memory)是长短期记忆网络,是一种时间递归神经网络,适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。
LSTM 已经在科技领域有了多种应用。基于 LSTM 的系统可以学习翻译语言、控制机器人、图像分析、文档摘要、语音识别图像识别、手写识别、控制聊天机器人、预测疾病、点击率和股票、合成音乐等等任务。
RNN(循环神经网络)有一个缺点就是不能有效地保留长时间的记忆信息,LSTM对隐藏层的设计做了相应的该进。LSTM的隐藏层的核心设计,是一种叫记忆体(cell state)的信息流,它负责这些信息的处理(对应4个门)。
忘记门控制着应该忘记哪些信息。忘记门通过传统激活函数sigmoid(cita)来实现.
图一 忘记门的逻辑设计
通过上一层的输出信息ht-1和当前信息Xt进行线性组合后,利用激活函数,将其函数值进行压缩,得到一个大小在0和1之间的阈值。当函数值越接近1,表示记忆体保留的信息越多。当函数值接近0,表示记忆体丢失的信息越多。
输入门决定着当前时刻的输入信息Xt,有多少信息被加到信息流里面。公式it.依然用sigmod激活函数。
图二 输入门与候选门的逻辑设计
候选门用来计算当前的输入和过去的记忆所具有的信息的总和。公式是图二中的Ct。
记忆的更新由两个部分组成 :第一部分是通过忘记门过滤之前的记忆,大小为ft x Ct-1.第二部分是添加当前的新增的数据信息,添加的比比例由输入门控制,大小为it xCt..得到更新后的记忆信息如下:Ct
图三 更新后的记忆信息
输出门控制着有多少记忆信息被用于下一个阶段的更新中,输出门依然使用sigmoid激活函数,公式如下Ot.
Ot是一个大小在0和1之间的权重值,传递给下一个阶段信息是上图的ht.
上图是LSTM网络几个基本概念。隐藏层几个门的设计,可能根据实际的需求来分析。
公式总结:
http://download.csdn.net/download/qq_37879432/10113892
http://blog.csdn.net/qq_37879432/article/details/78546984
http://blog.csdn.net/dream_catcher_10/article/details/48522339
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。