devbox
小小林熬夜学编程
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

YOLOV8数据集制作，X-Anylabeling标注数据集,以及模型训练_x-anylabeling 数据转出 yolo

作者：小小林熬夜学编程 | 2024-06-12 18:18:49

赞

踩

x-anylabeling 数据转出 yolo

1.X-Anylabeling简介与项目地址


         X-AnyLabeling 是一款全新的交互式自动标注工具，其基于AnyLabeling进行构建和二次开发，在此基础上扩展并支持了许多的模型和功能，并借助Segment Anything和YOLO等主流模型提供强大的 AI 支持。无须任何复杂配置，下载即用，支持自定义模型，极大提升用户标注效率！相较于LabelImg 和 Labelme 效率更高。

https://github.com/CVHub520/X-AnyLabeling

使用教程：https://zhuanlan.zhihu.com/p/636164570

2.X-Anylabeling所标注的数据集处理

2.1标签文件说明

标签文件的格式是json, 会存放在图片文件里。

注意：不要使用脚本直接将json文件转化成txt文件。

2.2 将json文件转xml文件

在这段代码中，需要根据实际情况更改路径。Annotations文件夹会自动创建。如果你的图像数据集不是jpg,也需要修改代码。

  1. import os
  2. import xml.dom
  3. import numpy as np
  4. import codecs
  5. import json
  6. import glob
  7. import cv2
  8. import shutil
  9.  
  10. # 1.标签路径
  11. labelme_path = r"D:/SoftWareSpace/stu_py/stu_py/img/goodApple"  # 原始json、bmp标注数据路径,需要更换成自己的数据集名称
  12. saved_path = r"D:/SoftWareSpace/stu_py/stu_py/img/Annotations"  # 保存路径
  13. if not os.path.exists(saved_path):
  14.     os.makedirs(saved_path)
  15.  
  16. # 2.获取待处理文件
  17. files = glob.glob("%s/*.json" % (labelme_path))
  18.  
  19. # 3.读取标注信息并写入 xml
  20. for json_filename in files:
  21.     json_file = json.load(open(json_filename, "r", encoding="utf-8"))
  22.     i = 0
  23.     # 图像名字，若图像格式不是bmp，需要修改此处
  24.     img_name = json_filename.replace(".json", ".jpg")
  25.     height, width, channels = cv2.imread(img_name).shape
  26.     # xml名字
  27.     xmlName = os.path.join(saved_path, json_filename.split("\\")[-1].replace(".json", ".xml"))
  28.  
  29.     with codecs.open(xmlName, "w", "utf-8") as xml:
  30.         print(2)
  31.         xml.write('<annotation>\n')
  32.         xml.write('\t<folder>' + 'jpg' + '</folder>\n')
  33.         xml.write('\t<filename>' + img_name + '</filename>\n')
  34.         # -------------------------------------------------
  35.         xml.write('\t<source>\n')
  36.         xml.write('\t\t<database>hulan</database>\n')
  37.  
  38.         # --------------------------------------------------
  39.         xml.write('\t</source>\n')
  40.         # -----------------------------------------------------------
  41.         xml.write('\t<size>\n')
  42.         xml.write('\t\t<width>' + str(width) + '</width>\n')
  43.         xml.write('\t\t<height>' + str(height) + '</height>\n')
  44.         xml.write('\t\t<depth>' + str(channels) + '</depth>\n')
  45.         # ------------------------------------------------
  46.         xml.write('\t</size>\n')
  47.         xml.write('\t\t<segmented>0</segmented>\n')
  48.  
  49.         # 节点判断
  50.         for multi in json_file["shapes"]:
  51.             points = np.array(multi["points"])
  52.             xmin = min(points[:, 0])
  53.             xmax = max(points[:, 0])
  54.             ymin = min(points[:, 1])
  55.             ymax = max(points[:, 1])
  56.             label = multi["label"]
  57.             if xmax <= xmin:
  58.                 pass
  59.             elif ymax <= ymin:
  60.                 pass
  61.             else:
  62.                 xml.write('\t<object>\n')
  63.                 xml.write('\t\t<name>' + json_file["shapes"][i]["label"] + '</name>\n')
  64.                 xml.write('\t\t<pose>Unspecified</pose>\n')
  65.                 xml.write('\t\t<truncated>0</truncated>\n')
  66.                 xml.write('\t\t<difficult>0</difficult>\n')
  67.                 xml.write('\t\t<bndbox>\n')
  68.                 xml.write('\t\t\t<xmin>' + str(xmin) + '</xmin>\n')
  69.                 xml.write('\t\t\t<ymin>' + str(ymin) + '</ymin>\n')
  70.                 xml.write('\t\t\t<xmax>' + str(xmax) + '</xmax>\n')
  71.                 xml.write('\t\t\t<ymax>' + str(ymax) + '</ymax>\n')
  72.                 xml.write('\t\t</bndbox>\n')
  73.                 xml.write('\t</object>\n')
  74.                 print(json_filename, xmin, ymin, xmax, ymax, label)
  75.                 i = i + 1
  76.         xml.write('</annotation>')

2.3获取xml文件中的labels

注意：路径需要根据实际路径进行更改。

  1. import xml.dom.minidom as xmldom
  2. import os
  3.  
  4. # voc数据集获取所有标签的所有类别数"
  5. annotation_path = "D:/SoftWareSpace/stu_py/stu_py/img/Annotation/"#需要根据实际路径更改
  6.  
  7. annotation_names = [os.path.join(annotation_path, i) for i in os.listdir(annotation_path)]
  8.  
  9. labels = list()
  10. for names in annotation_names:
  11.     xmlfilepath = names
  12.     domobj = xmldom.parse(xmlfilepath)
  13.     # 得到元素对象
  14.     elementobj = domobj.documentElement
  15.     # 获得子标签
  16.     subElementObj = elementobj.getElementsByTagName("object")
  17.     for s in subElementObj:
  18.         label = s.getElementsByTagName("name")[0].firstChild.data
  19.         # print(label)
  20.         if label not in labels:
  21.             labels.append(label)
  22. print(labels)

2.4xml文件转化为txt文件

注意：这里存放txt文件的文件夹需要自己创建，classes需要修改成2.3代码所获取的labels。

  1. import xml.etree.ElementTree as ET
  2. import os
  3.  
  4. classes = ['apple']  # 类别
  5. CURRENT_DIR = os.path.dirname(os.path.abspath(__file__))
  6.  
  7. def convert(size, box):
  8.     dw = 1. / size[0]
  9.     dh = 1. / size[1]
  10.     x = (box[0] + box[1]) / 2.0    # (x_min + x_max) / 2.0
  11.     y = (box[2] + box[3]) / 2.0    # (y_min + y_max) / 2.0
  12.     w = box[1] - box[0]   # x_max - x_min
  13.     h = box[3] - box[2]   # y_max - y_min
  14.     x = x * dw
  15.     w = w * dw
  16.     y = y * dh
  17.     h = h * dh
  18.     return (x, y, w, h)
  19.  
  20. def convert_annotation(image_id):
  21.     in_file = open('D:/SoftWareSpace/stu_py/stu_py/img/Annotation\%s.xml' % (image_id), encoding='UTF-8')
  22.  
  23.     out_file = open('D:/SoftWareSpace/stu_py/stu_py/img/labels\%s.txt' % (image_id), 'w')  # 生成txt格式文件
  24.     tree = ET.parse(in_file)
  25.     root = tree.getroot()
  26.     size = root.find('size')
  27.     w = int(size.find('width').text)
  28.     h = int(size.find('height').text)
  29.  
  30.     for obj in root.iter('object'):
  31.         cls = obj.find('name').text
  32.         # print(cls)
  33.         if cls not in classes:
  34.             continue
  35.         cls_id = classes.index(cls)
  36.         xmlbox = obj.find('bndbox')
  37.         b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text),
  38.              float(xmlbox.find('ymax').text))
  39.         bb = convert((w, h), b)
  40.         out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')
  41.  
  42. xml_path = os.path.join(CURRENT_DIR, 'D:/SoftWareSpace/stu_py/stu_py/img/Annotation')
  43.  
  44. # xml list
  45. img_xmls = os.listdir(xml_path)
  46. for img_xml in img_xmls:
  47.     label_name = img_xml.split('.')[0]
  48.     print(label_name)
  49.     convert_annotation(label_name)

2.5分配数据集

这段代码会把数据集拆开，拆成train,val,test

  1. 新建文件夹 datasets/data/images
    然后将图片和标签全部放到这个文件夹下。

  2. 在datasets下新建一个分配数据集数据的脚本文件train.py

  1. import os
  2. import random
  3. import shutil
  4.  
  5. def split_dataset(data_dir,train_val_test_dir, train_ratio, val_ratio, test_ratio):
  6.     # 创建目标文件夹
  7.     train_dir = os.path.join(train_val_test_dir, 'train')
  8.     val_dir = os.path.join(train_val_test_dir, 'val')
  9.     test_dir = os.path.join(train_val_test_dir, 'test')
  10.     os.makedirs(train_dir, exist_ok=True)
  11.     os.makedirs(val_dir, exist_ok=True)
  12.     os.makedirs(test_dir, exist_ok=True)
  13.  
  14.     # 获取数据集中的所有文件
  15.     files = os.listdir(data_dir)
  16.  
  17.     # 过滤掉非图片文件
  18.     image_files = [f for f in files if f.endswith('.jpg') or f.endswith('.png')]
  19.     # 随机打乱文件列表
  20.     random.shuffle(image_files)
  21.  
  22.     # 计算切分数据集的索引
  23.     num_files = len(image_files)
  24.     num_train = int(num_files * train_ratio)
  25.     num_val = int(num_files * val_ratio)
  26.     num_test = num_files - num_train - num_val
  27.  
  28.     # 分离训练集
  29.     train_files = image_files[:num_train]
  30.     for file in train_files:
  31.         src_image_path = os.path.join(data_dir, file)
  32.         src_label_path = os.path.join(data_dir, file.replace('.jpg', '.txt').replace('.png', '.txt'))
  33.         dst_image_path = os.path.join(train_dir, file)
  34.         dst_label_path = os.path.join(train_dir, file.replace('.jpg', '.txt').replace('.png', '.txt'))
  35.         shutil.copy(src_image_path, dst_image_path)
  36.         shutil.copy(src_label_path, dst_label_path)
  37.  
  38.     # 分离验证集
  39.     val_files = image_files[num_train:num_train+num_val]
  40.     for file in val_files:
  41.         src_image_path = os.path.join(data_dir, file)
  42.         src_label_path = os.path.join(data_dir, file.replace('.jpg', '.txt').replace('.png', '.txt'))
  43.         dst_image_path = os.path.join(val_dir, file)
  44.         dst_label_path = os.path.join(val_dir, file.replace('.jpg', '.txt').replace('.png', '.txt'))
  45.         shutil.copy(src_image_path, dst_image_path)
  46.         shutil.copy(src_label_path, dst_label_path)
  47.  
  48.     # 分离测试集
  49.     test_files = image_files[num_train+num_val:]
  50.     for file in test_files:
  51.         src_image_path = os.path.join(data_dir, file)
  52.         src_label_path = os.path.join(data_dir, file.replace('.jpg', '.txt').replace('.png', '.txt'))
  53.         dst_image_path = os.path.join(test_dir, file)
  54.         dst_label_path = os.path.join(test_dir, file.replace('.jpg', '.txt').replace('.png', '.txt'))
  55.         shutil.copy(src_image_path, dst_image_path)
  56.         shutil.copy(src_label_path, dst_label_path)
  57.  
  58.     print("数据集分离完成！")
  59.     print(f"训练集数量：{len(train_files)}")
  60.     print(f"验证集数量：{len(val_files)}")
  61.     print(f"测试集数量：{len(test_files)}")
  62.  
  63. def move_files(data_dir):
  64.     # 创建目标文件夹
  65.     images_dir = os.path.join(data_dir, 'images')
  66.     labels_dir = os.path.join(data_dir, 'labels')
  67.     os.makedirs(images_dir, exist_ok=True)
  68.     os.makedirs(labels_dir, exist_ok=True)
  69.  
  70.     # 获取数据集中的所有文件
  71.     files = os.listdir(data_dir)
  72.  
  73.     # 移动PNG文件到images文件夹
  74.     png_files = [f for f in files if f.endswith('.jpg')]
  75.     for file in png_files:
  76.         src_path = os.path.join(data_dir, file)
  77.         dst_path = os.path.join(images_dir, file)
  78.         shutil.move(src_path, dst_path)
  79.  
  80.     # 移动TXT文件到labels文件夹
  81.     txt_files = [f for f in files if f.endswith('.txt')]
  82.     for file in txt_files:
  83.         src_path = os.path.join(data_dir, file)
  84.         dst_path = os.path.join(labels_dir, file)
  85.         shutil.move(src_path, dst_path)
  86.  
  87.     print(f"{data_dir}文件移动完成！")
  88.     print(f"总共移动了 {len(png_files)} 个PNG文件到images文件夹")
  89.     print(f"总共移动了 {len(txt_files)} 个TXT文件到labels文件夹")
  90.  
  91.  
  92. # 设置数据集路径和切分比例
  93. data_dir = './data/images'      # 图片和标签路径
  94. train_val_test_dir= './data'    # 目标文件夹
  95. train_ratio = 0.7               # 训练集比例
  96. val_ratio = 0.2                 # 验证集比例
  97. test_ratio = 0.1                # 测试集比例
  98.  
  99. # 调用函数分离数据集
  100. split_dataset(data_dir, train_val_test_dir,train_ratio, val_ratio, test_ratio)
  101. # 调用函数移动文件
  102. move_files(os.path.join(train_val_test_dir, 'train'))
  103. move_files(os.path.join(train_val_test_dir, 'val'))
  104. move_files(os.path.join(train_val_test_dir, 'test'))
  105.

3.在datasets同级目录下新建一个mydata.yaml文件

  1. train: ./data/train/images
  2. val: ./data/val/images
  3. test: ./data/test/images
  4.  
  5. # 类别数
  6. nc: 2
  7.  
  8. # 类别名称
  9. names: ["goodapple","badapple"]

3.训练数据集

3.1训练

在终端执行以下命令

yolo task=detect mode=train model=yolov8.yaml data=mydata.yaml epochs=1000 batch=16 device=0

data：需要改成mydata.yaml文件的路径，

epochs:指的是训练轮数，可以根据实际修改

device：0指的是GPU，如果没有GPU，也可以将0改成cpu

3.2测试命令

yolo detect predict model=yolov8n.pt source='badimg'

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小小林熬夜学编程/article/detail/709096
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号