devbox
秋刀鱼在做梦
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

[Pytorch系列-60]：循环神经网络 - 中文新闻文本分类详解-2-LSTM网络训练与评估代码详解_新闻文本分类 pytorch

作者：秋刀鱼在做梦 | 2024-08-09 17:52:45

赞

踩

新闻文本分类 pytorch

作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客

本文网址：https://blog.csdn.net/HiWangWenBing/article/details/121800521

目录

第1章 预备知识

1.1 业务概述

1.2 LSTM网络

第2章 代码准备 (Jupter）

2.1 代码与数据集下载

2.2 导入库

2.3 系统配置

第3章 构建数据集

3.1 构建单词表API

3.2 定义构建数据集API

3.3 构建三大数据集

3.4 构建迭代器

第4章 构建模型：LSTM

4.1 定义模型类

4.2 实例化模型并显示模型结构

4.3 初始化模型权重参数

第5章 模型训练、评估

5.1 模型评估方法

5.2 模型训练方法

5.3 边训练、边评估模型

第6章 在测试集上对模型进行评估

6.1 测试方法的定义

6.2 开始测试

第1章 预备知识

1.1 业务概述

[Pytorch系列-59]：循环神经网络 - 中文新闻文本分类详解-1-业务目标分析与总体架构_文火冰糖（王文兵）的博客-CSDN博客https://blog.csdn.net/HiWangWenBing/article/details/121756744

1.2 LSTM网络

（1）双向LSTM

备注：

本案例是双向的LSTM，因此隐藏层的输出，是两个方向输出的拼接。

因此全连接网络的输入是 2 * 隐藏层特征数。

(2) LSTM的层数 

（3）隐藏的输出

 只使用当前的隐层输出送入到全连接网络。

第2章 代码准备 (Jupter）

2.1 代码与数据集下载

https://download.csdn.net/download/HiWangWenBing/60358291icon-default.png?t=LA92https://download.csdn.net/download/HiWangWenBing/60358291

2.2 导入库

  1. import time
  2. import numpy as np
  3. import torch
  4. import torch.nn as nn
  5. import torch.nn.functional as F
  6. from tensorboardX import SummaryWriter
  7. from sklearn import metrics
  8. import os
  9. import torch
  10. import numpy as np
  11. import pickle as pkl
  12. from tqdm import tqdm
  13. import time
  14. from datetime import timedelta

2.3 系统配置

（1）系统配置数据结构

  1. class Config(object):
  2.  
  3.     """配置参数"""
  4.     def __init__(self, dataset, embedding):
  5.         self.model_name = 'TextRNN'
  6.         #数据集路径
  7.         self.train_path = dataset + '/data/train.txt'                                # 训练集
  8.         self.dev_path = dataset + '/data/dev.txt'                                    # 验证集
  9.         self.test_path = dataset + '/data/test.txt'                                  # 测试集
  10.         
  11.         #类别文件
  12.         self.class_list = [x.strip() for x in open(
  13.             dataset + '/data/class.txt').readlines()]                                # 类别名单
  14.         
  15.         #单词表：是单词与其索引的对应表
  16.         self.vocab_path = dataset + '/data/vocab.pkl'                                # 词表
  17.         
  18.         # 词向量表: 是索引与向量编码的对应表
  19.         self.embedding_pretrained = torch.tensor(
  20.             np.load(dataset + '/data/' + embedding)["embeddings"].astype('float32'))\
  21.             if embedding != 'random' else None                                       # 预训练词向量
  22.  
  23.         self.embed = self.embedding_pretrained.size(1)\
  24.             if self.embedding_pretrained is not None else 300           # 字向量维度, 若使用了预训练词向量，则维度统一
  25.     
  26.         # 训练数据保存
  27.         self.save_path = dataset + '/saved_dict/' + self.model_name + '.ckpt'        # 模型训练结果
  28.         self.log_path = dataset + '/log/' + self.model_name
  29.         
  30.         # GPU or CPU
  31.         self.device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')   # 设备
  32.         
  33.         # 模型参数
  34.         self.hidden_size = 128                                          # lstm隐藏层
  35.         self.num_layers = 2                                             # lstm层数
  36.         
  37.         # 训练时的参数
  38.         self.dropout = 0.5                                              # 随机失活
  39.         self.require_improvement = 1000                                 # 若超过1000batch效果还没提升，则提前结束训练
  40.         self.num_classes = len(self.class_list)                         # 类别数
  41.         self.n_vocab = 0                                                # 词表大小，在运行时赋值
  42.         self.num_epochs = 20                                            # epoch数
  43.         self.batch_size = 64                                           # mini-batch大小
  44.         self.pad_size = 32                                              # 每句话处理成的长度(短填长切)
  45.         self.learning_rate = 1e-3                                       # 学习率
'
运行

（2）实例化配置对象

  1. # 数据集目录
  2. dataset = 'THUCNews'  
  3.  
  4. # 搜狗新闻:embedding_SougouNews.npz, 腾讯:embedding_Tencent.npz, 随机初始化:random
  5. embedding = 'embedding_SougouNews.npz'
  6.  
  7. #通过空格分隔的英文单词还是中文的字符
  8. word = False
  9.  
  10. #初始化配置实例
  11. config = Config(dataset, embedding)
  12.  
  13. #显示配置信息
  14. print(config.device)
  15. print(config.embed)
  16. print(config.embedding_pretrained)

第3章 构建数据集

3.1 构建单词表API

  1. MAX_VOCAB_SIZE = 10000
  2.  
  3. #新闻标题的填充，固定输入长度为32
  4. UNK, PAD = '<UNK>', '<PAD>'
  5.  
  6. # 单词表不是词向量表，而是单词与其索引对应关系的字典表。
  7. # 从指定单词表中读取词向量表：
  8. # file_path：单词表的路径
  9. # tokenizer：分词器，与英文不同，中文的单词是仅仅相邻的，中间没有空格，因此需要分词器进行分词。
  10. # max_size：单词的最大数量
  11. # min_freq：单词表排序时的参考词频
  12. def build_vocab(file_path, tokenizer, max_size, min_freq):
  13.     # 单词表是一个字典
  14.     vocab_dic = {}
  15.     with open(file_path, 'r', encoding='UTF-8') as f:
  16.         # 通过tqdm从单词表中读取一行单词，tqdm能够显示进度条
  17.         for line in tqdm(f):
  18.             # 移除字符串头尾指定的字符(默认为空格或换行符)或字符序列
  19.             lin = line.strip()
  20.             if not lin:
  21.                 #空行
  22.                 continue
  23.             #按照空格或table键，把字符转换成短语列表
  24.             content = lin.split('\t')[0]
  25.             
  26.             # 从列表中提取一个个独立的中文单词（即中文字）
  27.             for word in tokenizer(content):
  28.                 # 构建单词字典表
  29.                 vocab_dic[word] = vocab_dic.get(word, 0) + 1
  30.         
  31.         #对单词表进行排序
  32.         vocab_list = sorted([_ for _ in vocab_dic.items() if _[1] >= min_freq], key=lambda x: x[1], reverse=True)[:max_size]
  33.         
  34.         #还原成字典
  35.         vocab_dic = {word_count[0]: idx for idx, word_count in enumerate(vocab_list)}
  36.         
  37.         #使用UNK填充单词表的尾部
  38.         #  ，'<UNK>': 4760, '<PAD>': 4761}
  39.         vocab_dic.update({UNK: len(vocab_dic), PAD: len(vocab_dic) + 1})
  40.     return vocab_dic
'
运行

3.2 定义构建数据集API

  1. def build_dataset(config, ues_word):
  2.     print("构建单词表")
  3.     # 指定分词器
  4.     print("ues_word=",ues_word)
  5.     if ues_word:
  6.         tokenizer = lambda x: x.split(' ')  # 以空格隔开，word-level
  7.     else:
  8.         tokenizer = lambda x: [y for y in x]  # char-level =》适合中文
  9.     
  10.     # load单词表
  11.     if os.path.exists(config.vocab_path):
  12.         # 如果有现成的单词表，则使用已有的单词表（单词与索引的字典）
  13.         print("使用已有的单词表:", config.vocab_path)
  14.         vocab = pkl.load(open(config.vocab_path, 'rb'))
  15.     else:
  16.         # 如果没有现成的单词表，则基于训练集，构建一个新的词表
  17.         print("基于训练集，新构建单词表：", config.train_path)
  18.         vocab = build_vocab(config.train_path, tokenizer=tokenizer, max_size=MAX_VOCAB_SIZE, min_freq=1)
  19.         pkl.dump(vocab, open(config.vocab_path, 'wb'))
  20.     
  21.     print(f"Vocab size: {len(vocab)}")
  22.  
  23.     print("构建数据集")
  24.     # 定义load和转换数据集的函数
  25.     # 固定长度为32。
  26.     def load_dataset(path, pad_size=32):
  27.         contents = []
  28.         print("数据集：", path)
  29.         with open(path, 'r', encoding='UTF-8') as f:
  30.             # 读取一行文件，并显示进度条
  31.             for line in tqdm(f):
  32.                 #去掉头尾标识符
  33.                 lin = line.strip()
  34.                 if not lin:
  35.                     # 跳过空行
  36.                     continue
  37.                 
  38.                 #通过空格分离单词和标签
  39.                 content, label = lin.split('\t')
  40.                 
  41.                 words_line = []
  42.                 token = tokenizer(content)
  43.                 seq_len = len(token)
  44.                 
  45.                 # 根据填充单词，确定有效字符长度：seq_len
  46.                 if pad_size:
  47.                     if len(token) < pad_size:
  48.                         token.extend([vocab.get(PAD)] * (pad_size - len(token)))
  49.                     else:
  50.                         token = token[:pad_size]
  51.                         seq_len = pad_size
  52.                 
  53.                 #构建一个个样本数据
  54.                 for word in token:
  55.                     # 从单词表中获取每个单词对应的索引index，并添加到文字样本对应的列表中
  56.                     # words_line：存放当个样本数据（单词的index列表）
  57.                     words_line.append(vocab.get(word, vocab.get(UNK)))
  58.                 
  59.                 #contents：存放所有样本数据（单词的index列表）
  60.                 contents.append((words_line, int(label), seq_len))
  61.         return contents  # [([...], 0), ([...], 1), ...]
  62.     
  63.     # load训练数据集
  64.     train = load_dataset(config.train_path, config.pad_size)
  65.     
  66.     # load 验证数据集
  67.     dev = load_dataset(config.dev_path, config.pad_size)
  68.     
  69.     # load 测试数据集
  70.     test = load_dataset(config.test_path, config.pad_size)
  71.     
  72.     return vocab, train, dev, test
'
运行

3.3 构建三大数据集

（1）构建数据集

  1. def get_time_dif(start_time):
  2.     """获取已使用时间"""
  3.     end_time = time.time()
  4.     time_dif = end_time - start_time
  5.     return timedelta(seconds=int(round(time_dif)))
  6.  
  7. start_time = time.time()
  8.  
  9. #构建三大数据集
  10. print("Loading data...")
  11. vocab, train_data, dev_data, test_data = build_dataset(config, word)
  12.  
  13. # 更新词向量的长度
  14. config.n_vocab = len(vocab)
  15.  
  16. time_dif = get_time_dif(start_time)
  17. print("Time usage:", time_dif)

（2）显示单词表

print(vocab)

{' ': 0, '0': 1, '1': 2, '2': 3, '：': 4, '大': 5, '国': 6, '图': 7, '(': 8, ')': 9, '3': 10, '人': 11, '年': 12, '5': 13, '中': 14, '新': 15, '9': 16, '生': 17, '金': 18, '高': 19, '《': 20, '》': 21, '4': 22, '上': 23, '8': 24, '不': 25, '考': 26, '一': 27, '6': 28, '日': 29, '元': 30, '开': 31, '美': 32, '价': 33, '发': 34, '学': 35, '公': 36, '成': 37, '月': 38, '将': 39, '万': 40, '7': 41, '基': 42, '市': 43, '出': 44, '子': 45, '行': 46, '机': 47, '业': 48, '被': 49, '家': 50, '股': 51, '的': 52, '在': 53, '网': 54, '女': 55, '期': 56, '平': 57, '房': 58, '名': 59, '三': 60, '-': 61, '会': 62, '地': 63, '场': 64, '全': 65, '小': 66, '现': 67, '有': 68, '分': 69, '后': 70, '称': 71, '组': 72, '为': 73, '下': 74, '盘': 75, '最': 76, '“': 7

........

737, '恫': 4738, '诣': 4739, '叁': 4740, '氮': 4741, '曳': 4742, '膑': 4743, '峦': 4744, '攫': 4745, '鹄': 4746, '啄': 4747, '憩': 4748, '鞑': 4749, '垠': 4750, '鹕': 4751, '鄞': 4752, '呸': 4753, 'Ｖ': 4754, '玷': 4755, '瘁': 4756, '蚱': 4757, '§': 4758, '霎': 4759, '<UNK>': 4760, '<PAD>': 4761}

（3）显示训练数据集

  1. # 训练集索引是单词的索引
  2. # 样本：
  3. # 第一组数: 输入：32个单词序列的索引，文本新闻标题样本，转换成其索引，固定长度为32个单词，不足填充=》4760：PAD
  4. # 第二个数：分类的类别
  5. # 第三个数：有效字符的长度（不包括填充字符）
  6.  
  7. # 训练集输入数据的长度（包括填充字符）
  8. print(len(train_data[0][0]))
  9.  
  10. #中华女子学院：本科层次仅1专业招男生	3
  11. print(train_data[0])
  12.  
  13. #两天价网站背后重重迷雾：做个网站究竟要多少钱	4
  14. print(train_data[1])
32
([14, 125, 55, 45, 35, 307, 4, 81, 161, 941, 258, 494, 2, 175, 48, 145, 97, 17, 4760, 4760, 4760, 4760, 4760, 4760, 4760, 4760, 4760, 4760, 4760, 4760, 4760, 4760], 3, 18)
([135, 80, 33, 54, 505, 1032, 70, 95, 95, 681, 2288, 4, 486, 179, 54, 505, 626, 1156, 180, 115, 421, 561, 4760, 4760, 4760, 4760, 4760, 4760, 4760, 4760, 4760, 4760], 4, 22)

（3）显示验证数据集

  1. print(dev_data[0])
  2. print(dev_data[1])
([173, 714, 3, 186, 1844, 889, 0, 2641, 80, 2061, 416, 478, 382, 5, 308, 15, 1264, 1344, 4760, 4760, 4760, 4760, 4760, 4760, 4760, 4760, 4760, 4760, 4760, 4760, 4760, 4760], 8, 18)
([28, 1, 12, 567, 1371, 31, 365, 899, 846, 1300, 1095, 256, 1311, 8, 72, 7, 9, 4760, 4760, 4760, 4760, 4760, 4760, 4760, 4760, 4760, 4760, 4760, 4760, 4760, 4760, 4760], 5, 17)

（4）显示测试数据集

  1. print(test_data[0])
  2. print(test_data[1])
([1393, 686, 1350, 656, 110, 232, 1138, 0, 1, 24, 12, 26, 216, 1533, 56, 123, 434, 270, 742, 65, 112, 236, 4760, 4760, 4760, 4760, 4760, 4760, 4760, 4760, 4760, 4760], 3, 22)
([14, 6, 11, 156, 36, 211, 5, 35, 3, 1, 2, 3, 12, 830, 324, 216, 626, 17, 334, 291, 461, 659, 334, 4760, 4760, 4760, 4760, 4760, 4760, 4760, 4760, 4760], 3, 23)

3.4 构建迭代器

（1）定义类或函数

  1. # 迭代器类
  2. class DatasetIterater(object):
  3.     def __init__(self, batches, batch_size, device):
  4.         self.batch_size = batch_size
  5.         self.batches = batches
  6.         self.n_batches = len(batches) // batch_size
  7.         self.residue = False  # 记录batch数量是否为整数
  8.         if len(batches) % self.n_batches != 0:
  9.             self.residue = True
  10.         self.index = 0
  11.         self.device = device
  12.  
  13.     def _to_tensor(self, datas):
  14.         x = torch.LongTensor([_[0] for _ in datas]).to(self.device)
  15.         y = torch.LongTensor([_[1] for _ in datas]).to(self.device)
  16.  
  17.         # pad前的长度(超过pad_size的设为pad_size)
  18.         seq_len = torch.LongTensor([_[2] for _ in datas]).to(self.device)
  19.         return (x, seq_len), y
  20.  
  21.     # 迭代函数
  22.     def __next__(self):
  23.         if self.residue and self.index == self.n_batches:
  24.             batches = self.batches[self.index * self.batch_size: len(self.batches)]
  25.             self.index += 1
  26.             batches = self._to_tensor(batches)
  27.             return batches
  28.  
  29.         elif self.index > self.n_batches:
  30.             self.index = 0
  31.             raise StopIteration
  32.         else:
  33.             batches = self.batches[self.index * self.batch_size: (self.index + 1) * self.batch_size]
  34.             self.index += 1
  35.             batches = self._to_tensor(batches)
  36.             return batches
  37.  
  38.     def __iter__(self):
  39.         return self
  40.  
  41.     def __len__(self):
  42.         if self.residue:
  43.             return self.n_batches + 1
  44.         else:
  45.             return self.n_batches
  46.  
  47. # 构建迭代器的API
  48. def build_iterator(dataset, config):
  49.     iter = DatasetIterater(dataset, config.batch_size, config.device)
  50.     return iter
'
运行

（2）实例化

  1. # 训练集loader
  2. train_iter = build_iterator(train_data, config)
  3.  
  4. # 验证集loader
  5. dev_iter = build_iterator(dev_data, config)
  6.  
  7. # 测试集loader
  8. test_iter = build_iterator(test_data, config)
  9.  
  10. print(train_iter)
<__main__.DatasetIterater object at 0x0000022804DAFD30>

第4章 构建模型：LSTM

4.1 定义模型类

  1. class Model(nn.Module):
  2.     def __init__(self, config):
  3.         super(Model, self).__init__()
  4.         # 词向量网络
  5.         if config.embedding_pretrained is not None:
  6.             # 使用不需要重新训练的、预训练好的词向量，加快训练速度、提升性能
  7.             self.embedding = nn.Embedding.from_pretrained(config.embedding_pretrained, freeze=False)
  8.         else:
  9.             # 使用新定义的可训练的词词向量
  10.             self.embedding = nn.Embedding(config.n_vocab, config.embed, padding_idx=config.n_vocab - 1)
  11.         
  12.         # LSTM网络
  13.         # config.embed：词向量的输出长度=300，它是LSTM的输入
  14.         # config.hidden_size：隐藏层输出特征的长度
  15.         # config.num_layers：隐藏层的层数
  16.         # bidirectional：双向网络
  17.         # batch_first： [batch_size, seq_len, embeding]
  18.         # dropout：随机丢弃
  19.         self.lstm = nn.LSTM(config.embed, config.hidden_size, config.num_layers,
  20.                             bidirectional=True, batch_first=True, dropout=config.dropout)
  21.         
  22.         # 全连接分类网络
  23.         # 使用隐层当前时刻的输出作为全连接的输入。
  24.         # config.hidden_size * 2：双向LSTM的输出是隐层特征输出的2倍
  25.         self.fc = nn.Linear(config.hidden_size * 2, config.num_classes)
  26.  
  27.     def forward(self, x):
  28.         x, _ = x
  29.         out = self.embedding(x)  # [batch_size, seq_len, embeding]=[128, 32, 300]
  30.         out, _ = self.lstm(out)
  31.         out = self.fc(out[:, -1, :])  # 句子最后时刻的 hidden state
  32.         return out
'
运行

4.2 实例化模型并显示模型结构

  1. # 构建模型
  2. #设定随机种子，确保每次随机初始化的结果是一样的
  3. np.random.seed(1)
  4. torch.manual_seed(1)
  5. torch.cuda.manual_seed_all(1)
  6. torch.backends.cudnn.deterministic = True  # 保证每次结果一样
  7.  
  8. model_name = "TextRNN"
  9.  
  10. # 创建模型实例
  11. model = Model(config).to(config.device)
  12.  
  13. #显示网络参数
  14. for name, w in model.named_parameters():
  15.     print(name)
  16.     
  17. print(model.parameters)
embedding.weight
lstm.weight_ih_l0
lstm.weight_hh_l0
lstm.bias_ih_l0
lstm.bias_hh_l0
lstm.weight_ih_l0_reverse
lstm.weight_hh_l0_reverse
lstm.bias_ih_l0_reverse
lstm.bias_hh_l0_reverse
lstm.weight_ih_l1
lstm.weight_hh_l1
lstm.bias_ih_l1
lstm.bias_hh_l1
lstm.weight_ih_l1_reverse
lstm.weight_hh_l1_reverse
lstm.bias_ih_l1_reverse
lstm.bias_hh_l1_reverse
fc.weight
fc.bias

<bound method Module.parameters of Model(
  (embedding): Embedding(4762, 300)
  (lstm): LSTM(300, 128, num_layers=2, batch_first=True, dropout=0.5, bidirectional=True)
  (fc): Linear(in_features=256, out_features=10, bias=True)
)>

4.3 初始化模型权重参数

  1. # 权重初始化：不同的初始化方法，导致精确性和收敛时间不同
  2. # 默认xavier
  3. # xavier：“Xavier”初始化方法是一种很有效的神经网络初始化方法
  4. # kaiming：何凯明初始化
  5. # normal_: 正态分布初始化
  6. def init_network(model, method='xavier', exclude='embedding', seed=123):
  7.     for name, w in model.named_parameters():
  8.         if exclude not in name:
  9.             if 'weight' in name:
  10.                 if method == 'xavier':
  11.                     nn.init.xavier_normal_(w)
  12.                 elif method == 'kaiming':
  13.                     nn.init.kaiming_normal_(w)
  14.                 else:
  15.                     nn.init.normal_(w)
  16.             elif 'bias' in name:
  17.                 nn.init.constant_(w, 0)
  18.             else:
  19.                 pass
  20.  
  21. #初始化网络
  22. init_network(model)
'
运行

第5章 模型训练、评估

5.1 模型评估方法

  1. # 模型评估方法
  2. def evaluate(config, model, data_iter, test=False):
  3.     # 设置在评估模式
  4.     model.eval()
  5.     loss_total = 0
  6.     predict_all = np.array([], dtype=int)
  7.     labels_all = np.array([], dtype=int)
  8.     
  9.     # 不进行梯度更新
  10.     with torch.no_grad():
  11.         # 数据集迭代
  12.         for texts, labels in data_iter:
  13.             
  14.             # 模型预测输出
  15.             outputs = model(texts)
  16.             
  17.             # 计算当前的loss
  18.             loss = F.cross_entropy(outputs, labels)
  19.             loss_total += loss
  20.             
  21.             # 计算当前的精度
  22.             labels = labels.data.cpu().numpy()
  23.             predic = torch.max(outputs.data, 1)[1].cpu().numpy()
  24.             
  25.             # 记录当前的label的数目
  26.             labels_all = np.append(labels_all, labels)
  27.             
  28.             # 记录当前正确预测的数目
  29.             predict_all = np.append(predict_all, predic)
  30.     
  31.     # 计算整个数据集上的平均精度
  32.     acc = metrics.accuracy_score(labels_all, predict_all)
  33.     
  34.     if test:
  35.         report = metrics.classification_report(labels_all, predict_all, target_names=config.class_list, digits=4)
  36.         confusion = metrics.confusion_matrix(labels_all, predict_all)
  37.         return acc, loss_total / len(data_iter), report, confusion
  38.     
  39.     # 返回整个数据集上的平均精度与平均loss
  40.     return acc, loss_total / len(data_iter)
'
运行

5.2 模型训练方法

  1. # 训练方法
  2. writer = SummaryWriter(log_dir=config.log_path + '/' + time.strftime('%m-%d_%H.%M', time.localtime()))
  3.  
  4. def train(config, model, train_iter, dev_iter, writer):
  5.     start_time = time.time()
  6.     
  7.     # 设定在模式下
  8.     model.train()
  9.     
  10.     #设定优化器
  11.     optimizer = torch.optim.Adam(model.parameters(), lr=config.learning_rate)
  12.  
  13.     # 学习率指数衰减，每次epoch：学习率 = gamma * 学习率
  14.     # scheduler = torch.optim.lr_scheduler.ExponentialLR(optimizer, gamma=0.9)
  15.     total_batch = 0  # 记录进行到多少batch，一个训练集包含多个batch
  16.     
  17.     #记录当前最好的loss值
  18.     dev_best_loss = float('inf')
  19.     last_improve = 0  # 记录上次验证集loss下降的batch数
  20.     flag = False  # 记录是否很久没有效果提升
  21.     
  22.     # 启动一个SummaryWriter对象，用于 记录训练过程
  23.     writer = SummaryWriter(log_dir=config.log_path + '/' + time.strftime('%m-%d_%H.%M', time.localtime()))
  24.     
  25.     #开始训练
  26.     for epoch in range(config.num_epochs):
  27.         print('Epoch [{}/{}]'.format(epoch + 1, config.num_epochs))
  28.         
  29.         #自动调整学习率
  30.         #scheduler.step() # 学习率衰减
  31.         
  32.         # 迭代数据集
  33.         for i, (trains, labels) in enumerate(train_iter):
  34.             #print (trains[0].shape)
  35.             
  36.             #获取模型输出
  37.             outputs = model(trains)
  38.             
  39.             #复位模型梯度
  40.             model.zero_grad()
  41.             
  42.             # 计算模型loss
  43.             loss = F.cross_entropy(outputs, labels)
  44.             
  45.             # 根据loss计算梯度
  46.             loss.backward()
  47.             
  48.             # 反向迭代，更新W参数
  49.             optimizer.step()
  50.             
  51.             # 对迭代进行测试与评估
  52.             # 每100次迭代输出，在训练集和验证集上的评估一次效果
  53.             if total_batch % 100 == 0:
  54.                 # 获取训练集上的精度
  55.                 true = labels.data.cpu()
  56.                 predic = torch.max(outputs.data, 1)[1].cpu()
  57.                 train_acc = metrics.accuracy_score(true, predic)
  58.                 
  59.                 # 获取验证集上的精度
  60.                 dev_acc, dev_loss = evaluate(config, model, dev_iter, test=False)
  61.                 if dev_loss < dev_best_loss:
  62.                     dev_best_loss = dev_loss
  63.                     # 保存当前精度更高时候的模型
  64.                     torch.save(model.state_dict(), config.save_path)
  65.                     improve = '*'
  66.                     
  67.                     # 记录模型更新时的batch数
  68.                     last_improve = total_batch
  69.                 else:
  70.                     improve = ''
  71.                 
  72.                 # 打印log信息
  73.                 time_dif = get_time_dif(start_time)
  74.                 msg = 'Iter: {0:>6},  Train Loss: {1:>5.2},  Train Acc: {2:>6.2%},  Val Loss: {3:>5.2},  Val Acc: {4:>6.2%},  Time: {5} {6}'
  75.                 print(msg.format(total_batch, loss.item(), train_acc, dev_loss, dev_acc, time_dif, improve))
  76.                 writer.add_scalar("loss/train", loss.item(), total_batch)
  77.                 writer.add_scalar("loss/dev", dev_loss, total_batch)
  78.                 writer.add_scalar("acc/train", train_acc, total_batch)
  79.                 writer.add_scalar("acc/dev", dev_acc, total_batch)
  80.                 
  81.                 #重新进入训练模式
  82.                 model.train()
  83.             
  84.             # batch数++
  85.             total_batch += 1
  86.             
  87.             # 如果连续迭代后，精度没有得到进一步的提升，当次数得到一定的设定值后，自动停止迭代。
  88.             # total_batch：连续进行了多少次batch
  89.             # last_improve：记录模型更新时的batch数
  90.             # config.require_improvement
  91.             if total_batch - last_improve > config.require_improvement:
  92.                 # 验证集loss超过1000batch 没下降，结束训练
  93.                 print("No optimization for a long time, auto-stopping...")
  94.                 print("total_batch=", total_batch)
  95.                 print("last_improve=", last_improve)
  96.                 print("require_improvement=", config.require_improvement)
  97.                 flag = True
  98.                 break
  99.         if flag:
  100.             break
  101.     writer.close()

5.3 边训练、边评估模型

在训练集上训练，在验证集上评估

  1. # 一边训练，一边评估
  2. train(config, model, train_iter, dev_iter, writer)
Epoch [1/20]
Iter:      0,  Train Loss:   2.3,  Train Acc: 17.19%,  Val Loss:   2.3,  Val Acc: 10.00%,  Time: 0:00:01 *
Iter:    100,  Train Loss:   1.7,  Train Acc: 34.38%,  Val Loss:   1.8,  Val Acc: 28.56%,  Time: 0:00:02 *
Iter:    200,  Train Loss:   1.3,  Train Acc: 56.25%,  Val Loss:   1.4,  Val Acc: 46.30%,  Time: 0:00:03 *
Iter:    300,  Train Loss:   1.1,  Train Acc: 60.94%,  Val Loss:   1.1,  Val Acc: 61.21%,  Time: 0:00:04 *
.............................................................................
Iter:   5300,  Train Loss:   0.3,  Train Acc: 90.62%,  Val Loss:  0.34,  Val Acc: 88.94%,  Time: 0:01:04 
Iter:   5400,  Train Loss:  0.33,  Train Acc: 89.06%,  Val Loss:  0.32,  Val Acc: 89.61%,  Time: 0:01:05 
Iter:   5500,  Train Loss:  0.43,  Train Acc: 84.38%,  Val Loss:  0.34,  Val Acc: 89.69%,  Time: 0:01:07 
Iter:   5600,  Train Loss:  0.31,  Train Acc: 89.06%,  Val Loss:  0.32,  Val Acc: 89.91%,  Time: 0:01:08 
Epoch [3/20]
Iter:   5700,  Train Loss:  0.22,  Train Acc: 90.62%,  Val Loss:  0.33,  Val Acc: 89.70%,  Time: 0:01:09 
No optimization for a long time, auto-stopping...
total_batch= 5701
last_improve= 4700
require_improvement= 1000

第6章 在测试集上对模型进行评估

6.1 测试方法的定义

  1. # 在测试集上对模型进行评估
  2. def test(config, model, test_iter):
  3.     # test
  4.     # 获取保存的最佳精度的模型
  5.     model.load_state_dict(torch.load(config.save_path))
  6.     
  7.     # 进入评估模式
  8.     model.eval()
  9.     
  10.     start_time = time.time()
  11.     
  12.     # 测试测试集进行评估
  13.     test_acc, test_loss, test_report, test_confusion = evaluate(config, model, test_iter, test=True)
  14.     
  15.     # 打印测试集的评估结果
  16.     # 测试集的loss和精度
  17.     msg = 'Test Loss: {0:>5.2},  Test Acc: {1:>6.2%}'
  18.     print(msg.format(test_loss, test_acc))
  19.     
  20.     # 打印准确率、召回率、F1-Score的分数
  21.     print("Precision, Recall and F1-Score...")
  22.     print(test_report)
  23.     
  24.     # 打印混淆矩阵
  25.     print("Confusion Matrix...")
  26.     print(test_confusion)
  27.     
  28.     
  29.     time_dif = get_time_dif(start_time)
  30.     print("Time usage:", time_dif)

备注：

至于模型的评分指标：Loss、accuracy、Precision, Recall and F1-Score，请参看相关文章。

6.2 开始测试

  1. # 对训练好的模型进行测试
  2. test(config, model, test_iter)
Test Loss:  0.31,  Test Acc: 89.73%
Precision, Recall and F1-Score...
               precision    recall  f1-score   support

      finance     0.9240    0.8630    0.8925      1000
       realty     0.8796    0.9280    0.9032      1000
       stocks     0.8547    0.8060    0.8296      1000
    education     0.9477    0.9420    0.9448      1000
      science     0.8188    0.8540    0.8360      1000
      society     0.8817    0.9020    0.8917      1000
     politics     0.8645    0.8680    0.8663      1000
       sports     0.9662    0.9730    0.9696      1000
         game     0.9351    0.9080    0.9214      1000
entertainment     0.9055    0.9290    0.9171      1000

     accuracy                         0.8973     10000
    macro avg     0.8978    0.8973    0.8972     10000
 weighted avg     0.8978    0.8973    0.8972     10000

Confusion Matrix...
[[863  24  65   2  18  11  10   2   2   3]
 [ 10 928  14   0  13  16   3   1   3  12]
 [ 38  44 806   1  54   2  41   2   9   3]
 [  0   4   2 942   8  14   9   0   3  18]
 [  4   8  26   8 854  22  25   1  32  20]
 [  3  21   2  18   2 902  31   2   3  16]
 [ 11  15  19  11  24  37 868   4   1  10]
 [  1   2   1   2   4   3   6 973   1   7]
 [  1   2   6   5  55   7   4   4 908   8]
 [  3   7   2   5  11   9   7  18   9 929]]
Time usage: 0:00:00

作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客

本文网址：https://blog.csdn.net/HiWangWenBing/article/details/121800521

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/秋刀鱼在做梦/article/detail/954462
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号