自然语言处理之语言模型（LM）：一段Pytorch的LSTM模型对自然语言处理的实际代码 - wpsshop博客
devbox
Gausst松鼠会
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

自然语言处理之语言模型（LM）：一段Pytorch的LSTM模型对自然语言处理的实际代码

作者：Gausst松鼠会 | 2024-03-02 13:45:56

赞

踩

自然语言处理之语言模型（LM）：一段Pytorch的LSTM模型对自然语言处理的实际代码

当处理自然语言处理任务时，可以使用PyTorch来实现LSTM模型。下面是一个简单的示例代码，用于情感分类任务。

首先，导入所需的库：

  1. import torch
  2. import torch.nn as nn
  3. import torch.optim as optim
  4. from torchtext.data import Field, TabularDataset, BucketIterator

定义模型类：

  1. class LSTMModel(nn.Module):
  2.     def __init__(self, input_dim, embedding_dim, hidden_dim, output_dim):
  3.         super(LSTMModel, self).__init__()
  4.         self.embedding = nn.Embedding(input_dim, embedding_dim)
  5.         self.lstm = nn.LSTM(embedding_dim, hidden_dim)
  6.         self.fc = nn.Linear(hidden_dim, output_dim)
  7.     
  8.     def forward(self, text):
  9.         embedded = self.embedding(text)
  10.         output, (hidden, cell) = self.lstm(embedded)
  11.         hidden = hidden[-1, :, :]
  12.         prediction = self.fc(hidden)
  13.         return prediction.squeeze(0)

定义数据预处理和加载数据函数：

  1. def preprocess_data():
  2.     # 定义Field对象
  3.     TEXT = Field(tokenize='spacy', lower=True)
  4.     LABEL = Field(sequential=False, is_target=True)
  5.     
  6.     # 加载数据集
  7.     train_data, test_data = TabularDataset.splits(
  8.         path='data_path',
  9.         train='train.csv',
  10.         test='test.csv',
  11.         format='csv',
  12.         fields=[('text', TEXT), ('label', LABEL)]
  13.     )
  14.     
  15.     # 构建词汇表
  16.     TEXT.build_vocab(train_data, vectors='glove.6B.100d')
  17.     LABEL.build_vocab(train_data)
  18.     
  19.     # 构建数据迭代器
  20.     train_iterator, test_iterator = BucketIterator.splits(
  21.         (train_data, test_data),
  22.         batch_size=64,
  23.         sort_within_batch=True,
  24.         sort_key=lambda x: len(x.text),
  25.         device=torch.device('cuda')
  26.     )
  27.     
  28.     return train_iterator, test_iterator, TEXT.vocab.vectors

定义训练函数：

  1. def train(model, iterator, optimizer, criterion):
  2.     model.train()
  3.     
  4.     for batch in iterator:
  5.         optimizer.zero_grad()
  6.         text, label = batch.text, batch.label
  7.         predictions = model(text)
  8.         loss = criterion(predictions, label)
  9.         loss.backward()
  10.         optimizer.step()

定义评估函数：

  1. def evaluate(model, iterator, criterion):
  2.     model.eval()
  3.     total_loss = 0
  4.     total_accuracy = 0
  5.     
  6.     with torch.no_grad():
  7.         for batch in iterator:
  8.             text, label = batch.text, batch.label
  9.             predictions = model(text)
  10.             loss = criterion(predictions, label)
  11.             total_loss += loss.item()
  12.             
  13.             _, predicted_label = torch.max(predictions, 1)
  14.             total_accuracy += (predicted_label == label).float().mean().item()
  15.     
  16.     return total_loss / len(iterator), total_accuracy / len(iterator)

最后，实例化模型并进行训练和评估：

  1. # 定义超参数
  2. input_dim = len(TEXT.vocab)
  3. embedding_dim = 100
  4. hidden_dim = 256
  5. output_dim = 2
  6.  
  7. # 实例化模型
  8. model = LSTMModel(input_dim, embedding_dim, hidden_dim, output_dim)
  9.  
  10. # 加载预训练的词向量
  11. pretrained_embeddings = TEXT.vocab.vectors
  12. model.embedding.weight.data.copy_(pretrained_embeddings)
  13.  
  14. # 定义损失函数和优化器
  15. criterion = nn.CrossEntropyLoss()
  16. optimizer = optim.Adam(model.parameters())
  17.  
  18. # 加载数据
  19. train_iterator, test_iterator, _ = preprocess_data()
  20.  
  21. # 训练和评估模型
  22. for epoch in range(num_epochs):
  23.     train(model, train_iterator, optimizer, criterion)
  24.     test_loss, test_accuracy = evaluate(model, test_iterator, criterion)
  25.     print(f'Epoch: {epoch+1}, Test Loss: {test_loss:.4f}, Test Accuracy: {test_accuracy:.4f}')

以上代码是一个简单的LSTM模型用于情感分类任务的示例。你可以根据自己的具体任务和数据进行相应的修改和调整。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Gausst松鼠会/article/detail/180740
推荐阅读
相关标签