赞
踩
传统的神经网络如卷积神经网络(CNN)处理的数据样本之间是独立的,对于前后有联系的数据无法捕捉其在空间和时间上的联系,所以RNN的出现就解决这样的问题,譬如视频流的处理,时间序列的预测,机器翻译,音频信号的处理等
图 1. RNN模型的结构
其中:
xt 代表当前时刻t的样本输入(N维特征)
ht 代表当前时刻t的隐藏状态(隐藏状态下的神经元个数hide_size)
ot 代表当前时刻t的模型输出
Lt 代表当前时刻t的模型损失函数
yt 代表当前时刻的样本标签输出
U, V, W 代表模型参数,在RNN整个网络中是权值共享
模型的表达式:
t时刻的隐藏状态(f是激活函数):
t时刻的输出:
t时刻的预测输出(二分类用sigma,多分类softmax,回归linear):
t时刻的损失函数(此时用回归的损失函数做一个说明):
RNN模型的整体损失函数:
RNN网络中一个记忆cell的计算包含了上一个状态的历史cell内容,同时也包含了当前时刻输入的样本特征信息,输出则只与当前状态记忆cell的内容有关
注意:
此外我理解的是输入xt以及上一时刻的ht-1与当前时刻的ht以及当前时刻的输出ot是由全连接层来实现的,具体结构如下图2所示(如果有误,还请各位大佬指点):
图2. RNN cell与输入输出的结构图
双向RNN的典型结构如下图3所示:
图3. 双向RNN的典型结构
对于t时刻:
正向运算:
反向运算:
输出:
注意:正向和反向的权重不共享
多层组合的RNN结构如下图4所示(这里以两层RNN为例展示):
图4. 深度循环神经网络RNN(2层)
对于t时刻:
其中i代表第i层
pytorch中的RNN模型各项参数解释如下:
pytorch手册:https://pytorch.org/docs/stable/generated/torch.nn.RNN.html#torch.nn.RNN
举一个小例子来说明RNN各个参数的维度信息
假设现在有一组是否下雨的时序数据样本,长度为M,每天的参数有温度、湿度、气压,降水概率,紫外线指数,我们的工作是需要实时预测未来一天是否要降雨?
假设我们用前三天的数据来预测第四天是否降雨,可以将样本数据划分为如下:
X = {{x1, x2, x3, y4}, {x2, x3, x4, y5}, {x3, x4, x5, y6}, …}
X为样本集,样本量为M-2,y是是否下雨的标签,其中:
x = [温度,湿度,气压,降水概率,紫外线指数]
所以参数设置如下:
input_size = 5(指一天中的所收集的特征维度,如温度等)
hidden_size = n(自定义,类似卷积中的神经元个数)
num_layers = 1 (此处做一个示范说明,就直接使用未stack的模型,所以设置为1)
bidrectional = false(非双向)
seq_len = 3
参考链接
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。