Yolo-World在自定义数据集上进行闭集词汇训练过程

上一篇记录了一下如何将yolo-world官网的项目在本地或者云端进行部署运行，当可以在本地运行之后那么就可以基于自己的数据集训练一个yolo-world模型，本篇来简单介绍一下如何进行本地化训练。（如有错误，欢迎批评指正，不胜感激！）
微调训练主要包含三种微调方法：Normal Fine-tuning、Prompt Tuning、Reparameterized Fine-tuning。这三种微调方法都在文档中有详细的解释，本篇博文就第一种微调方法Normal Fine-tuning进行解释：
（1）准备数据集
在docs/data.md文档中我们可以看到用于预训练模型的数据集结构以及对应的json文件，如coco、flickr、mixed_grounding等数据集，我的数据集是coco格式的所以只需要仿照coco数据集的结构构建数据集即可，也就是一份训练集，包含images以及对应的json文件；一份验证集，包含images以及对应的json文件。这份json文件中的就是对应图片中的标记框以及类别信息。

除此之外还可以根据自己数据需要检测的类别自定义一份文本json，也就是data/texts下的json文件，如xxx_class_tsxts.json，到这里数据准备的过程就算完成了。
（2）修改configs文件
值得注意的是在finetuning.md中提到“如果微调数据集包含掩码注释：应该使用含有mask-refine的yolov8配置文件"
_base_ = ('../../third_party/mmyolo/configs/yolov8/yolov8_l_mask-refine_syncbn_fast_8xb16-500e_coco.py')
如果微调数据集不包含掩码注释：应该使用不包含mask-refine的yolov8配置文件"
_base_ = ('../../third_party/mmyolo/configs/yolov8/yolov8_l_syncbn_fast_8xb16-500e_coco.py')
我这里使用的自定义数据集中不包含掩码注释，采用的是

yolo_world_v2_l_vlpan_bn_sgd_1e-3_40e_8gpus_finetune_coco.py

这份配置文件，其实这里的配置文件我也试过使用

yolo_world_v2_s_vlpan_bn_2e-4_80e_8gpus_mask-refine_finetune_coco.py

这份配置文件进行模型训练，但是发现训练的时候loss_bbox: 0.0000 和 loss_dfl:0.0000这两个损失为0，训练出来的模型没办法用，所以采用不含mask-refine的模型进行训练。
具体如何对配置文件进行修改呢？
a）首先是超参数的修改：
对 num_classes num_training_classes 修改为自己需要检测的类别数量，比如
num_classes = 12
num_training_classes = 12
对train_batch_size_per_gpu进行修改，如果train_batch_size_per_gpu=16报错显示内存溢出等问题，就把它改小train_batch_size_per_gpu=8或者4，再尝试进行训练。
自定义的类别写在这里，后边会用到：

classes=["ignored regions","pedestrian","people","bicycle","car","van","truck","tricycle","awning-tricycle","bus","motor","others"]
1

这里的类别数量要和num_classes num_training_classes对应。
b）加载预训练模型：
首先加载

finetune_coco/yolo_world_v2_l_vlpan_bn_sgd_1e-3_40e_8gpus_finetune_coco.py

这份配置文件对应的pth模型文件，

yolo_world_v2_l_vlpan_bn_sgd_1e-3_40e_8gpus_finetune_coco_ep80-e1288152.pth

pth文件的下载方法以及地址在前文有说过，可以过去翻一下。
加载text_model_name文本模型，同样前文也有说过

text_model_name = ‘openai/clip-vit-base-patch32’

其他超参数根据自己的需求进行适当更改即可。
c）dataset settings
首先修改coco_train_dataset部分：

coco_train_dataset = dict(_delete_=True,
                          type='MultiModalDataset',
                          dataset=dict(
                              type='YOLOv5CocoDataset',
                            #   data_root='data/coco',
                            #   ann_file='annotations/instances_train2017.json',
                            metainfo=dict(classes=classes),
                            data_root='data/visDrone2019/VisDrone2019_train',
                            ann_file='VisDrone2019_train.json',
                            data_prefix=dict(img='images/'),
                            filter_cfg=dict(
                                            filter_empty_gt=False,
                                              min_size=32)),
                        class_text_path='data/texts/visDrone_class_text.json',
                        #   class_text_path='data/texts/coco_class_texts.json',
                          pipeline=train_pipeline)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

只需metainfo、data_root、ann_file、data_prefix、class_text_path这几部分进行修改即可，
同样coco_val_dataset部分也是修改这几部分，只是将train数据更改为val数据即可，最后更改evaluation settings部分的ann_file为val数据的json文件即可。
至此configs文件需要修改的部分就完成了。
（3）训练模型
打开pytorch环境输入命令即可开始训练：

python tools/train.py configs/finetune_coco/yolo_world_v2_s_vlpan_bn_2e-4_80e_8gpus_mask-refine_finetune_coco.py  --work-dir log   --amp --resume
1

等待训练结束即可获得pth模型文件，进行推理或部署。
PS：这里并没有将训练过程在wandb上进行可视化展示出来，如果想可视化展示该如何操作？请了解的朋友可以留言分享一下，感谢！！！