devbox
盐析白兔
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

【做法说明】Yolo训练行人车辆目标检测数据集储备与模型训练【KITTI】_yolo车辆行人检测数据集

作者：盐析白兔 | 2024-04-20 17:31:41

赞

踩

yolo车辆行人检测数据集

一、数据集介绍

       KITTI数据集由德国卡尔斯鲁厄理工学院和丰田工业大学芝加哥分校联合赞助的用于自动驾驶领域研究的数据集。作者收集了长达6个小时的真实交通环境，数据集由经过校正和同步的图像、雷达扫描、高精度的GPS信息和IMU加速信息等多种模态的信息组成。作者还在数据集官网提供了光流、物体检测、深度估计等多种任务的Benchmark。

       数据集链接：http://www.cvlibs.net/datasets/kitti/

       论文链接：http://www.webmail.cvlibs.net/publications/Geiger2012CVPR.pdf

       精确的地面真相由Velodyne激光扫描仪和GPS定位系统提供。我们的数据集是通过在中型城市卡尔斯鲁厄(Karlsruhe)、乡村地区和高速公路上行驶来获取的。每张图像可看到多达15辆汽车和30个行人。除了以原始格式提供所有数据外，我们还为每个任务提取基准。对于我们的每一个基准，我们也提供了一个评估指标和这个评估网站。初步实验表明，在现有基准中排名靠前的方法，如Middlebury方法，在脱离实验室进入现实世界后，表现低于平均水平。我们的目标是减少这种偏见，并通过向社会提供具有新困难的现实基准来补充现有基准。

二、数据集下载

       KITTI的官网地址为：The KITTI Vision Benchmark Suite

       由于使用做行人车辆目标检测训练，仅寻找与行人，车辆有关的内容，该部分需要注册账号，链接如下：

Downloadicon-default.png?t=N7T8http://www.cvlibs.net/download.php?file=data_object_image_2.zip

Downloadicon-default.png?t=N7T8http://www.cvlibs.net/download.php?file=data_object_label_2.zip

       得到需要的图片和标签。

       也可以在官网上直接下载：

https://s3.eu-central-1.amazonaws.com/avg-kitti/data_object_image_2.zipicon-default.png?t=N7T8https://s3.eu-central-1.amazonaws.com/avg-kitti/data_object_image_2.zip

https://s3.eu-central-1.amazonaws.com/avg-kitti/data_object_label_2.zipicon-default.png?t=N7T8https://s3.eu-central-1.amazonaws.com/avg-kitti/data_object_label_2.zip

       文件需要科学上网，下载时注意网速问题。

       下载完成后，我们在yolov5/dataset下创建文件夹kitti，在kitti中放入我们的数据

  1. |——kitti
  2.      ├── imgages
  3.      │     └── origin
  4.      │           ├── 000001.png               
  5.      │           └── ....... 
  6.      └── labels
  7.            ├── origin
  8.            │     ├── 000001.txt 
  9.            │     └── .......    
  10.            └──  xml

 三、KITTI数据集LABLE转换

 1. KITTI原数据格式介绍

       原先文件中，LABLE如下所示。

       官网上可以查询到其数据格式：

 2. 数据类别的整合

       该数据集的标注一共分为8个类别：

       ’Car’，’Van’，’Truck’，’Pedestrian’，’Person_sitting’，’Cyclist’，’Misc’和’DontCare’。

       在代码中，将’Pedestrian’, ’Person_sitting’合并为’Pedestrian’ ，删除’Misc’和’DontCare’

       首先我们把类别归一一下，因为我们需要用到6个类（代码中的路径需要修改）

  1. # modify_annotations_txt.py
  2.  
  3. import glob
  4. import string
  5.  
  6. txt_list = glob.glob('D:/File/yolov5-mobileone-master/dataset/kitti/labels/origin/*.txt') # 存储Labels文件夹所有txt文件路径
  7.  
  8. print(txt_list)
  9. def show_category(txt_list):
  10.     category_list= []
  11.     for item in txt_list:
  12.         try:
  13.             with open(item) as tdf:
  14.                 for each_line in tdf:
  15.                     labeldata = each_line.strip().split(' ') # 去掉前后多余的字符并把其分开
  16.                     category_list.append(labeldata[0]) # 只要第一个字段，即类别
  17.         except IOError as ioerr:
  18.             print('File error:'+str(ioerr))
  19.     print(set(category_list)) # 输出集合
  20.  
  21. def merge(line):
  22.     each_line=''
  23.     for i in range(len(line)):
  24.         if i!= (len(line)-1):
  25.             each_line=each_line+line[i]+' '
  26.         else:
  27.             each_line=each_line+line[i] # 最后一条字段后面不加空格
  28.     each_line=each_line+'\n'
  29.     return (each_line)
  30.  
  31. print('before modify categories are:\n')
  32. show_category(txt_list)
  33.  
  34. for item in txt_list:
  35.     new_txt=[]
  36.     try:
  37.         with open(item, 'r') as r_tdf:
  38.             for each_line in r_tdf:
  39.                 labeldata = each_line.strip().split(' ')
  40.                 # if labeldata[0] in ['Truck','Van','Tram']: # 合并汽车类
  41.                 #     labeldata[0] = labeldata[0].replace(labeldata[0],'Car')
  42.                 if labeldata[0] == 'Person_sitting': # 合并行人类
  43.                     labeldata[0] = labeldata[0].replace(labeldata[0],'Pedestrian')
  44.                 if labeldata[0] == 'DontCare': # 忽略Dontcare类
  45.                     continue
  46.                 if labeldata[0] == 'Misc': # 忽略Misc类
  47.                     continue
  48.                 new_txt.append(merge(labeldata)) # 重新写入新的txt文件
  49.         with open(item,'w+') as w_tdf: # w+是打开原文件将内容删除，另写新内容进去
  50.             for temp in new_txt:
  51.                 w_tdf.write(temp)
  52.     except IOError as ioerr:
  53.         print('File error:'+str(ioerr))
  54.  
  55. print('\nafter modify categories are:\n')
  56. show_category(txt_list)

       输出结果为：

3. 数据的储存（转化为xml文件）

       然后再把它转换为xml文件，在Labels目录创建一个xml文件夹用于存放xml。

  1. # kitti_txt_to_xml.py
  2. # encoding:utf-8
  3. # 根据一个给定的XML Schema，使用DOM树的形式从空白文件生成一个XML
  4. from xml.dom.minidom import Document
  5. import cv2
  6. import glob
  7. import os
  8. def generate_xml(name,split_lines,img_size,class_ind):
  9.     doc = Document() # 创建DOM文档对象
  10.     annotation = doc.createElement('annotation')
  11.     doc.appendChild(annotation)
  12.     title = doc.createElement('folder')
  13.     title_text = doc.createTextNode('KITTI')
  14.     title.appendChild(title_text)
  15.     annotation.appendChild(title)
  16.     img_name=name+'.jpg'
  17.     title = doc.createElement('filename')
  18.     title_text = doc.createTextNode(img_name)
  19.     title.appendChild(title_text)
  20.     annotation.appendChild(title)
  21.     source = doc.createElement('source')
  22.     annotation.appendChild(source)
  23.     title = doc.createElement('database')
  24.     title_text = doc.createTextNode('The KITTI Database')
  25.     title.appendChild(title_text)
  26.     source.appendChild(title)
  27.     title = doc.createElement('annotation')
  28.     title_text = doc.createTextNode('KITTI')
  29.     title.appendChild(title_text)
  30.     source.appendChild(title)
  31.     size = doc.createElement('size')
  32.     annotation.appendChild(size)
  33.     title = doc.createElement('width')
  34.     title_text = doc.createTextNode(str(img_size[1]))
  35.     title.appendChild(title_text)
  36.     size.appendChild(title)
  37.     title = doc.createElement('height')
  38.     title_text = doc.createTextNode(str(img_size[0]))
  39.     title.appendChild(title_text)
  40.     size.appendChild(title)
  41.     title = doc.createElement('depth')
  42.     title_text = doc.createTextNode(str(img_size[2]))
  43.     title.appendChild(title_text)
  44.     size.appendChild(title)
  45.     for split_line in split_lines:
  46.         line=split_line.strip().split()
  47.         if line[0] in class_ind:
  48.             object = doc.createElement('object')
  49.             annotation.appendChild(object)
  50.             title = doc.createElement('name')
  51.             title_text = doc.createTextNode(line[0])
  52.             title.appendChild(title_text)
  53.             object.appendChild(title)
  54.             bndbox = doc.createElement('bndbox')
  55.             object.appendChild(bndbox)
  56.             title = doc.createElement('xmin')
  57.             title_text = doc.createTextNode(str(int(float(line[4]))))
  58.             title.appendChild(title_text)
  59.             bndbox.appendChild(title)
  60.             title = doc.createElement('ymin')
  61.             title_text = doc.createTextNode(str(int(float(line[5]))))
  62.             title.appendChild(title_text)
  63.             bndbox.appendChild(title)
  64.             title = doc.createElement('xmax')
  65.             title_text = doc.createTextNode(str(int(float(line[6]))))
  66.             title.appendChild(title_text)
  67.             bndbox.appendChild(title)
  68.             title = doc.createElement('ymax')
  69.             title_text = doc.createTextNode(str(int(float(line[7]))))
  70.             title.appendChild(title_text)
  71.             bndbox.appendChild(title)
  72.     # 将DOM对象doc写入文件
  73.     f = open('D:/File/yolov5-mobileone-master/dataset/kitti/labels/xml/'+name+'.xml','w')#xml
  74.     f.write(doc.toprettyxml(indent = ''))
  75.     f.close()
  76. if __name__ == '__main__':
  77.     class_ind=('Car', 'Cyclist', 'Truck', 'Van', 'Pedestrian', 'Tram')
  78.     # cur_dir=os.getcwd()
  79.     labels_dir= "D:/File/yolov5-mobileone-master/dataset/kitti/labels/origin"
  80.     # labels_dir=os.path.join(cur_dir,'label_2')
  81.     for parent, dirnames, filenames in os.walk(labels_dir):# 分别得到根目录，子目录和根目录下文件
  82.         for file_name in filenames:
  83.             full_path=os.path.join(parent, file_name) # 获取文件全路径
  84.             f=open(full_path)
  85.             split_lines = f.readlines() #以行为单位读
  86.             name= file_name[:-4] # 后四位是扩展名.txt，只取前面的文件名
  87.             img_name=name+'.png'
  88.             img_path=os.path.join('D:/File/yolov5-mobileone-master/dataset/kitti/images/origin',img_name) # 路径需要自行修改
  89.             img_size=cv2.imread(img_path).shape
  90.             generate_xml(name,split_lines,img_size,class_ind)
  91. print('txts has converted into xmls')

       这个时候我们已经将.txt转化为.xml并存放在设定的文件夹xml下了。

4. 数据格式的转化与数据集划分

       最后我们再把.xml转化为适合于yolo训练的标签模式，将下面代码放置在数据集文件夹的根目录，注意不要将图片文件夹和要生成文件夹的名称重复。按照0.7:0.15:0.15构造数据集、测试集、验证集并分别分配到不同文件夹去。

  1. |——kitti
  2.      ├── imgages
  3.      │     ├── train
  4.      │     │     ├── 00XXXA.png 
  5.      │     │     └── .......    
  6.      │     ├──  val
  7.      │     │     ├── 00XXXB.png 
  8.      │     │     └── .......    
  9.      │     └── test
  10.      │           └── 00XXXC.png               
  11.      │           └── ....... 
  12.      │
  13.      └── labels
  14.            ├── train
  15.            │     ├── 00XXXA.txt 
  16.            │     └── .......    
  17.            ├──  val
  18.            │     ├── 00XXXB.txt 
  19.            │     └── .......    
  20.            └── test
  21.                  ├── 00XXXC.txt  
  22.                  └── .......

        分配代码如下：

  1. #  xml_to_txt_yolo.py 
  2. #  将此文件放置在你的数据集根目录下即可
  3. #  一定要放到根目录下
  4.  
  5. import xml.etree.ElementTree as ET
  6. import os
  7. import shutil
  8. import random
  9.  
  10. xml_file_path = 'D:/File/yolov5-mobileone-master/dataset/kitti/labels/xml/'       # 检查和自己的xml文件夹名称是否一致
  11. images_file_path = 'images/origin/'  # 检查和自己的图像文件夹名称是否一致
  12. # 改成自己的类别名称
  13. classes = ['Car', 'Cyclist', 'Truck', 'Van', 'Pedestrian', 'Tram']
  14. # 数据集划分比例，训练集75%，验证集15%，测试集15%
  15. train_percent = 0.7
  16. val_percent = 0.15
  17. test_percent = 0.15
  18. # 此处不要改动，只是创一个临时文件夹
  19. if not os.path.exists('temp_labels/'):
  20.     os.makedirs('temp_labels/')
  21. txt_file_path = 'temp_labels/'
  22.  
  23.  
  24. def convert(size, box):
  25.     dw = 1. / size[0]
  26.     dh = 1. / size[1]
  27.     x = (box[0] + box[1]) / 2.0
  28.     y = (box[2] + box[3]) / 2.0
  29.     w = box[1] - box[0]
  30.     h = box[3] - box[2]
  31.     x = x * dw
  32.     w = w * dw
  33.     y = y * dh
  34.     h = h * dh
  35.     return x, y, w, h
  36.  
  37.  
  38. def convert_annotations(image_name):
  39.     in_file = open(xml_file_path + image_name + '.xml')
  40.     out_file = open(txt_file_path + image_name + '.txt', 'w')
  41.     tree = ET.parse(in_file)
  42.     root = tree.getroot()
  43.     size = root.find('size')
  44.     w = int(size.find('width').text)
  45.     h = int(size.find('height').text)
  46.     for obj in root.iter('object'):
  47.         # difficult = obj.find('difficult').text
  48.         cls = obj.find('name').text
  49.         # if cls not in classes or int(difficult) == 1:
  50.         #     continue
  51.         if cls not in classes == 1:
  52.             continue
  53.         cls_id = classes.index(cls)
  54.         xmlbox = obj.find('bndbox')
  55.         b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text),
  56.              float(xmlbox.find('ymin').text), float(xmlbox.find('ymax').text))
  57.         bb = convert((w, h), b)
  58.         out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')
  59.  
  60.  
  61. total_xml = os.listdir(xml_file_path)
  62. num_xml = len(total_xml)  # XML文件总数
  63.  
  64. for i in range(num_xml):
  65.     name = total_xml[i][:-4]
  66.     convert_annotations(name)
  67.  
  68.  
  69. # *********************************************** #
  70. #  parent folder
  71. #  --data
  72. #  ----images
  73. #       ----train
  74. #       ----val
  75. #       ----test
  76. #  ----labels
  77. #       ----train
  78. #       ----val
  79. #       ----test
  80. def create_dir():
  81.     if not os.path.exists('images/'):
  82.         os.makedirs('images/')
  83.     if not os.path.exists('labels/'):
  84.         os.makedirs('labels/')
  85.     if not os.path.exists('images/train'):
  86.         os.makedirs('images/train')
  87.     if not os.path.exists('images/val'):
  88.         os.makedirs('images/val')
  89.     if not os.path.exists('images/test'):
  90.         os.makedirs('images/test/')
  91.     if not os.path.exists('labels/train'):
  92.         os.makedirs('labels/train')
  93.     if not os.path.exists('labels/val'):
  94.         os.makedirs('labels/val')
  95.     if not os.path.exists('labels/test'):
  96.         os.makedirs('labels/test')
  97.  
  98.     return
  99.  
  100.  
  101. # *********************************************** #
  102. # 读取所有的txt文件
  103. create_dir()
  104. total_txt = os.listdir(txt_file_path)
  105. num_txt = len(total_txt)
  106. list_all_txt = range(num_txt)  # 范围 range(0, num)
  107.  
  108. num_train = int(num_txt * train_percent)
  109. num_val = int(num_txt * val_percent)
  110. num_test = num_txt - num_train - num_val
  111.  
  112. train = random.sample(list_all_txt, num_train)
  113. # train从list_all_txt取出num_train个元素
  114. # 所以list_all_txt列表只剩下了这些元素：val_test
  115. val_test = [i for i in list_all_txt if not i in train]
  116. # 再从val_test取出num_val个元素，val_test剩下的元素就是test
  117. val = random.sample(val_test, num_val)
  118. # 检查两个列表元素是否有重合的元素
  119. # set_c = set(val_test) & set(val)
  120. # list_c = list(set_c)
  121. # print(list_c)
  122. # print(len(list_c))
  123.  
  124. print("训练集数目：{}, 验证集数目：{},测试集数目：{}".format(len(train), len(val), len(val_test) - len(val)))
  125. for i in list_all_txt:
  126.     name = total_txt[i][:-4]
  127.  
  128.     srcImage = images_file_path + name + '.png'
  129.     srcLabel = txt_file_path + name + '.txt'
  130.  
  131.     if i in train:
  132.         dst_train_Image = 'images/train/' + name + '.png'
  133.         dst_train_Label = 'labels/train/' + name + '.txt'
  134.         shutil.copyfile(srcImage, dst_train_Image)
  135.         shutil.copyfile(srcLabel, dst_train_Label)
  136.     elif i in val:
  137.         dst_val_Image = 'images/val/' + name + '.png'
  138.         dst_val_Label = 'labels/val/' + name + '.txt'
  139.         shutil.copyfile(srcImage, dst_val_Image)
  140.         shutil.copyfile(srcLabel, dst_val_Label)
  141.     else:
  142.         dst_test_Image = 'images/test/' + name + '.png'
  143.         dst_test_Label = 'labels/test/' + name + '.txt'
  144.         shutil.copyfile(srcImage, dst_test_Image)
  145.         shutil.copyfile(srcLabel, dst_test_Label)
  146. print("complete")

        数据分配结果如下：

        数据集、验证集、测试集分配情况如下：

        可以看到，数据与标签对应，数据个数与标签一致。

        至此，数据准备已经全部完毕，可以载入yolo进行训练。在训练之前需要改变一些参数。

四、配置文件的修改

1. 修改数据集yaml文件

       修改yaml文件,将dat目录下的coco128.yaml复制一份修改为kitti.yaml。

       需要注意names部分应当与前述的一致，否则会出现错误。

  1. # kitti.yaml
  2.  
  3. train: D:/File/yolov5-mobileone-master/dataset/kitti/images/train  # train images (relative to 'path') 5236 images
  4. val: D:/File/yolov5-mobileone-master/dataset/kitti/images/val/  # val images (relative to 'path') 1122 images
  5. test: D:/File/yolov5-mobileone-master/dataset/kitti/images/test/ # test images (optional)
  6. nc:  6 # number of classes
  7. names: ['Car', 'Cyclist', 'Truck', 'Van', 'Pedestrian', 'Tram']  # class names

2. 修改models配置文件

       本次实验使用yolov5s，故修改yolov5s.yaml文件，在models目录下。

       修改nc（类别数量）即可。

  1. # yolov5s.yaml
  2. # YOLOv5 
    声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/盐析白兔/article/detail/458496
    推荐阅读
    相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。