devbox
从前慢现在也慢
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

《PyTorch深度学习实践》第十二讲循环神经网络基础

作者：从前慢现在也慢 | 2024-03-02 23:20:24

赞

踩

《PyTorch深度学习实践》第十二讲循环神经网络基础

一、RNN简介

1、RNN网络最大的特点就是可以处理序列特征，就是我们的一组动态特征。比如，我们可以通过将前三天每天的特征（是否下雨，是否有太阳等）输入到网络，从而来预测第四天的天气。
       我们可以看RNN的网络结构如下：

二、RNN cell用法

  1. import torch
  2.  
  3. batch_size = 1 # 批处理大小
  4. seq_len = 3 # 序列长度
  5. input_size = 4 # 输入维度
  6. hidden_size = 2 # 隐藏层维度
  7.  
  8. cell = torch.nn.RNNCell(input_size=input_size, hidden_size=hidden_size)
  9.  
  10. # (seq, batch, features)
  11. dataset = torch.randn(seq_len, batch_size, input_size)
  12. print(dataset)
  13. hidden = torch.zeros(batch_size, hidden_size)
  14. print(hidden)
  15.  
  16. for idx, input in enumerate(dataset):
  17.     print( '=' * 20, idx, '=' * 20)
  18.     print( 'Input size: ', input.shape)
  19.     hidden = cell(input, hidden)
  20.     print( 'outputs size: ', hidden.shape)
  21.     print(hidden)

三、RNN用法

  1. import torch
  2.  
  3. batch_size = 1 # 批处理大小
  4. seq_len = 3 # 序列长度
  5. input_size = 4 # 输入维度
  6. hidden_size = 2 # 隐藏层维度
  7. num_layers = 4  # 隐藏层数量
  8.  
  9. cell = torch.nn.RNN(input_size=input_size, hidden_size=hidden_size, num_layers=num_layers)
  10.  
  11. # (seqLen, batchSize, inputSize)
  12. inputs = torch.randn(seq_len, batch_size, input_size)
  13. hidden = torch.zeros(num_layers, batch_size, hidden_size)
  14. out, hidden = cell(inputs, hidden)
  15.  
  16. print( 'Output size:', out.shape)
  17. print( 'Output:', out)
  18. print( 'Hidden size: ', hidden.shape)
  19. print( 'Hidden: ', hidden)

四、Embedding

把input变为稠密的数据

代码：

  1. import torch
  2.  
  3. # parameters
  4. num_class = 4
  5. input_size = 4
  6. hidden_size = 8
  7. embedding_size = 10
  8. num_layers = 2
  9. batch_size = 1
  10. seq_len = 5
  11.  
  12. # 准备数据集
  13. idx2char = ['e', 'h', 'l', 'o']
  14. x_data = [[1, 0, 2, 2, 3]]  # (batch, seq_len)
  15. y_data = [3, 1, 2, 3, 2]    # (batch * seq_len)
  16.  
  17. inputs = torch.LongTensor(x_data)   # Input should be LongTensor: (batchSize, seqLen)
  18. labels = torch.LongTensor(y_data)   # Target should be LongTensor: (batchSize * seqLen)
  19.  
  20. # 构建模型
  21. class Model(torch.nn.Module):
  22.     def __init__(self):
  23.         super(Model, self).__init__()
  24.         self.emb = torch.nn.Embedding(input_size, embedding_size)
  25.         self.rnn = torch.nn.RNN(input_size=embedding_size, hidden_size=hidden_size, num_layers=num_layers, batch_first=True)
  26.         self.fc = torch.nn.Linear(hidden_size, num_class)
  27.  
  28.     def forward(self, x):
  29.         hidden = torch.zeros(num_layers, x.size(0), hidden_size)
  30.         x = self.emb(x)  # (batch, seqLen, embeddingSize)
  31.         x, _ = self.rnn(x, hidden)  # 输出(
    声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/182953
    推荐阅读
    相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。