[目标检测] 二、训练yolox模型_yolox训练
赞
踩
训练yolox模型
前篇：配置yolox环境
一、准备工作
1、数据集配置
我用的是voc2007数据集，将标记好的数据转换成voc数据集格式（可存为labelme2voc.py，运行)：
import os import numpy as np import codecs import json from glob import glob import cv2 import shutil from sklearn.model_selection import train_test_split # 1.标签路径 labelme_path = "F:/Models/LabelmeData/" # 原始labelme标注数据路径 saved_path = "data/VOCdevkit/VOC2007/" # 保存路径 isUseTest = True # 是否创建test集 # 2.创建要求文件夹 if not os.path.exists(saved_path + "Annotations"): # xmls_path os.makedirs(saved_path + "Annotations") if not os.path.exists(saved_path + "JPEGImages/"): # images_path os.makedirs(saved_path + "JPEGImages/") if not os.path.exists(saved_path + "ImageSets/Main/"): # train_val_txt_path os.makedirs(saved_path + "ImageSets/Main/") # 3.获取待处理文件 files = glob(labelme_path + "*.json") files = [i.replace("\\", "/").split("/")[-1].split(".json")[0] for i in files] # print(files) # 4.读取标注信息并写入 xml for json_file_ in files: json_filename = labelme_path + json_file_ + ".json" json_file = json.load(open(json_filename, "r", encoding="utf-8")) height, width, channels = cv2.imread(labelme_path + json_file_ + ".jpg").shape with codecs.open(saved_path + "Annotations/" + json_file_ + ".xml", "w", "utf-8") as xml: xml.write('<annotation>\n') xml.write('\t<folder>' + 'VOC_data' + '</folder>\n') xml.write('\t<filename>' + json_file_ + ".jpg" + '</filename>\n') xml.write('\t<source>\n') xml.write('\t\t<database>VOC Data</database>\n') xml.write('\t\t<image>flickr</image>\n') xml.write('\t\t<flickrid>NULL</flickrid>\n') xml.write('\t</source>\n') xml.write('\t<size>\n') xml.write('\t\t<width>' + str(width) + '</width>\n') xml.write('\t\t<height>' + str(height) + '</height>\n') xml.write('\t\t<depth>' + str(channels) + '</depth>\n') xml.write('\t</size>\n') xml.write('\t\t<segmented>0</segmented>\n') for multi in json_file["shapes"]: points = np.array(multi["points"]) labelName = multi["label"] xmin = min(points[:, 0]) xmax = max(points[:, 0]) ymin = min(points[:, 1]) ymax = max(points[:, 1]) label = multi["label"] if xmax <= xmin: pass elif ymax <= ymin: pass else: xml.write('\t<object>\n') xml.write('\t\t<name>' + labelName + '</name>\n') xml.write('\t\t<pose>Unspecified</pose>\n') xml.write('\t\t<truncated>1</truncated>\n') xml.write('\t\t<difficult>0</difficult>\n') xml.write('\t\t<bndbox>\n') xml.write('\t\t\t<xmin>' + str(int(xmin)) + '</xmin>\n') xml.write('\t\t\t<ymin>' + str(int(ymin)) + '</ymin>\n') xml.write('\t\t\t<xmax>' + str(int(xmax)) + '</xmax>\n') xml.write('\t\t\t<ymax>' + str(int(ymax)) + '</ymax>\n') xml.write('\t\t</bndbox>\n') xml.write('\t</object>\n') # print(json_filename, xmin, ymin, xmax, ymax, label) xml.write('</annotation>') # 5.将图片复制到 VOC2007/JPEGImages/目录下 image_files = glob(labelme_path + "*.jpg") print("copy image files to VOC007/JPEGImages/") for image in image_files: shutil.copy(image, saved_path + "JPEGImages/") # 6.split files for txt txtsavepath = saved_path + "ImageSets/Main/" ftrainval = open(txtsavepath + '/trainval.txt', 'w') ftest = open(txtsavepath + '/test.txt', 'w') ftrain = open(txtsavepath + '/train.txt', 'w') fval = open(txtsavepath + '/val.txt', 'w') total_files = glob("data/VOCdevkit/VOC2007/Annotations/*.xml") total_files = [i.replace("\\", "/").split("/")[-1].split(".xml")[0] for i in total_files] trainval_files = [] test_files = [] if isUseTest: trainval_files, test_files = train_test_split(total_files, test_size=0.15, random_state=55) else: trainval_files = total_files for file in trainval_files: ftrainval.write(file + "\n") # split train_files, val_files = train_test_split(trainval_files, test_size=0.15, random_state=55) # train for file in train_files: ftrain.write(file + "\n") # val for file in val_files: fval.write(file + "\n") for file in test_files: # print(file) ftest.write(file + "\n") ftrainval.close() ftrain.close() fval.close() ftest.close()
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
- 71
- 72
- 73
- 74
- 75
- 76
- 77
- 78
- 79
- 80
- 81
- 82
- 83
- 84
- 85
- 86
- 87
- 88
- 89
- 90
- 91
- 92
- 93
- 94
- 95
- 96
- 97
- 98
- 99
- 100
- 101
- 102
- 103
- 104
- 105
- 106
- 107
- 108
- 109
- 110
- 111
- 112
- 113
- 114
生成的VOC数据集文件目录如下所示：
2、修改yolox配置
参考文档：https://blog.csdn.net/weixin_40920183/article/details/120387381
修改标签类别
exps/example/yolox_voc/yolox_voc_s.py，将num_classes修改为标签类别数量，此处为2。
若为windows系统，yolox/exp/yolox_base.py将self.data_num_workers设为0，因为在windows中不能使用多个子进程加载数据，在linux系统中可以。
yolox/data/datasets/voc_classes.py文件，VOC_CLASSES修改为自己的类别名，此处为aircraft和oiltank。
修改数据集目录信息
exps/example/yolox_voc/yolox_voc_s.py文件中：
- 修改训练集
修改中dataset中的data_dir和image_sets。data_dir是数据的路径，images_sets修改为[‘train’]。
- 修改验证集
修改valdataset中的exps/example/yolox_voc/yolox_voc_s.py中的data_dir和image_sets。data_dir是数据的绝对路径，images_sets修改为[‘val’]。
删去年份信息
若为自己的数据集，需去掉年份信息，yolox/data/datasets/voc.py文件中：
- 去掉VOCDetection类中的年份信息
#for (year, name) in image_sets:
# self._year = year
# rootpath = os.path.join(self.root, "VOC" + year)
for name in image_sets:
rootpath = self.root
for line in open(
os.path.join(rootpath, "ImageSets", "Main", name + ".txt")
):
self.ids.append((rootpath, line.strip()))
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 删掉_get_voc_results_file_template方法对year信息的调用：
# filedir = os.path.join(self.root, "results", "VOC" + self._year, "Main")
filedir = os.path.join(self.root, "results")
- 1
- 2
- 在_do_python_eval方法中：
# rootpath = os.path.join(self.root, "VOC" + self._year)
# name = self.image_set[0][1]
rootpath = self.root
name = self.image_set[0]
# cachedir = os.path.join(
# self.root, "annotations_cache", "VOC" + self._year, name
# )
cachedir = os.path.join(
self.root, "annotations_cache"
)
# use_07_metric = True if int(self._year) < 2010 else False
use_07_metric = True
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
修改完后执行python setup.py install重载代码。
python setup.py install
- 1
二、训练模型
1、训练生成权重文件
模型预训练：首先，在一个原始任务上预先训练一个初始模型，然后在目标任务上使用该模型，针对目标任务的特性，对该初始模型进行精调，从而达到提高目标任务的目的。在本质上，这是一种迁移学习的方法，在自己的目标任务上使用别人训练好的模型。
使用预训练模型yolox_s.pth，yolox_voc_s.py为解释文件训练模型：
python tools/train.py -f exps/example/yolox_voc/yolox_voc_s.py -d 1 -b 4 -c yolox_s.pth
- 1
可在yolox_base.py中修改epoch信息，每训练一个epoch会重新生成一个latest_ckpt.pth文件，训练完成后会生成一个best_ckpt.pth文件。
使用Ctrl+C可以终止训练。
2、检测图片
得到训练好的权重文件后，需要在yolox/data/datasets/init.py文件中导入VOC_CLASSES。
在tools/demo.py中将COCO_Datesets改为VOC_Datesets，对demo.py文件的parser进行修改可运行得到检测结果，path参数可以为文件夹路径（批量检测）；也可使用命令行对图片进行检测：
python tools/demo.py image -f exps/example/yolox_voc/yolox_voc_s.py -c YOLOX_outputs/yolox_voc_s/latest_ckpt.pth --path ./assets/aircraf
t_4.jpg --conf 0.3 --nms 0.65 --tsize 640 --save_result --device gpu
- 1
- 2
3、结果保存为txt文件
测试时将结果保存在一个txt文件中。
检测时将结果画上图片用到的方法是yolox.utils.visualize.py中的vis方法，在这个方法中用一个result_list记录我们需要的文字信息，并返回。在demo.py的predicate.visual()方法中可以接收到返回的result_list。
image_demo()调用此方法，再次返回result_list参数，在image_demo()方法中将这些信息用一个txt文件存起来，就得到了识别结果的数据信息。
三、遇到的错误
- error1
RuntimeError:DataLoader worker (pid(s) 4184, 8092, 10972, 14404) exited unexpectedly
- 1
PyTorch的DataLoader中有一个参数叫做num_workers。在windows中不能使用多个子进程加载数据，在linux系统中可以。所以在windows中要将num_workers设置为0。
解决方法：在yolox/exp/yolox_base.py，设置self.data_num_workers = 0。
- error2
OMP: Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized.
- 1
出现的原因是因为有两个重复的文件libiomp5md.dll在python环境中。
解决方法：在tools/train.py添加代码使用临时环境变量：
import os
os.environ["KMP_DUPLICATE_LIB_OK"] = "TRUE"
- 1
- 2
- error3
训练生成权重时：cuda out of memory
解决：
1、减小batchsize的大小。如果使用的是命令行执行方式，减小-b的数值。若是执行train.py文件，则在parser解析器中修改。
2、去掉命令中的–fp16 -o，这个命令意味着使用混合精度进行训练。
- error4
标签出现“person”而不是自己设置的名称：
demo.py中默认使用的COCO_classes，将其改为VOC_classes。我使用的是voc数据集，故yolox/data/datasets/coco_classes.py中类的名称没有更改，使用时需注意换成voc_classes。
- error5
RuntimeError: Error(s) in loading state_dict for YOLOX:
size mismatch for head.cls_preds.0.weight: copying a param with shape torch.Size([80, 128, 1, 1]) from checkpoint, the shape in current model is torch.Size([
3, 128, 1, 1]).
size mismatch for head.cls_preds.0.bias: copying a param with shape torch.Size([80]) from checkpoint, the shape in current model is torch.Size([3]).
- 1
- 2
- 3
- 4
这个问题我找了很久，主要有以下两种说法，不过都没有很好的解决我的问题：
1、shape不匹配，预训练模型与当前网络结构不同，最终类部数与自己的类别数不一致。
https://www.jb51.net/article/212184.htm
2、类的路径或设置没有改，可以仔细检查一下：
（1）可能是train.py里面的num_classes没改。
（2）model_path没改。
（3）classes_path没改。
https://blog.csdn.net/impact_10/article/details/118752248
我的解决方法：将train.py中的resume改为False，则只会得到警告，接下来可以继续训练。
- error6
AssertionError: assert img is not None
cv2.read返回为none的情况：https://blog.csdn.net/weixin_43341953/article/details/120614449
因此检查路径是否正确或数据集中是否缺少了某张图片。
