使用案例学习深度学习(1)-----------RNN (Recurrent Neural Network)循环神经网络_深度学习rnn实例

1.循环神经网络RNN的应用

RNN常用于序列数据的建模和预测

1.如股票价格的随时间的走势,利用以往的数据来预测股票的走势;2视频中的帧序列,序列中的帧与帧之间也有着某种序列关系;3.自然语言中,根据前面的内容来预测后面的内容,常用在输入法,比如,明天天气真好,我们去爬       吧;

2.循环神经网络是什么

2.1 传统的神经网络

传统的神经网络NN,隐藏层的节点之间是无连接的.如下图

从上到下依次是:输入层(Input Layer),隐藏层(Hidden Layer),隐藏层(Hidden Layer),输出层(Output Layer).上图中的隐藏层之间的节点是无连接的.这样不会存在同一层的信息传递.

2.2 循环神经网络

隐藏层的节点之间有连接,是主要用于对序列数据进行预测分类处理的神经网络.比较擅长对序列数据处理.

3. RNN序列

RNN的序列存在,多对多,多对一,一对多等等关系.(等等,这个一,一,莫名像个表情包)

3.1 最基本的RNN结构

图中每个节点都是一个神经元,每个神经元都有一个输入Xt,一个隐藏层单元St,一个输出单元Ot,也可以将其简化折叠成右边的形式

3.2 RNN的计算

输入层:表示时刻t的输入

隐藏层:是一个非线性激活函数,如tanh

输出层: 其中softmax函数的形式为

3.3 RNN的参数共享

1.在传统网络中,参数一般是不共享的

2.而在RNN中,每一步,每一层都可以共享节点的参数U,V,W

3.这种参数共享机制大大的降低了网络中学习的参数,降低了网络的复杂度