当前位置:   article > 正文

yolov4、yolov5训练nuscenes数据集/nuscenes数据集转coco格式_nuscense yolo

nuscense yolo

1. nuscenes数据集下载

1.1 nuscenes数据集简介

nuScenes数据集 是自动驾驶公司nuTonomy建立的大规模自动驾驶数据集,该数据集不仅包含了Camera和Lidar,还记录了雷达数据。这个数据集由1000个场景组成(即scenes,这就是该数据集名字的由来),每个scenes长度为20秒,包含了各种各样的情景。在每一个scenes中,有40个关键帧(key frames),也就是每秒钟有2个关键帧,其他的帧为sweeps。关键帧经过手工的标注,每一帧中都有了若干个annotation,标注的形式为bounding box。不仅标注了大小、范围、还有类别、可见程度等等。这个数据集不久前发布了一个teaser版本(包含100个scenes),正式版(1000个scenes)的数据要2019年发布。这个数据集在sample的数量上、标注的形式上都非常好,记录了车的自身运动轨迹(相对于全局坐标),包含了非常多的传感器,可以用来实现更加智慧的识别算法和感知融合算法。
我需要包含毫米波雷达/激光雷达/摄像头的数据集,所以需要在数据集的选择上选取包含这三类传感器的数据集,故选择了nuscenes数据集。

1.2 nuscenes数据类型选择

数据集下载地址https://www.nuscenes.org/download在这里插入图片描述
数据集类型一共有以上六种,从上到下分别是图片数据集/激光雷达数据集/CAN数据集/地图数据集/完整数据集/先前的作广告的数据集(已弃用)
在这里插入图片描述
这里我们只能选择Full dataset,原因会在之后的章节详细说明,作者下载了Mini版本,图中高亮的部分,点击Asia即可下载,下载速度较慢,建议复制下载链接使用迅雷下载。
如果需要大量训练集,则使用Trainval,需要下载MetaData和Camera blobs only for part 1,后面的part也可以下载,下载方式相同,都是点击后面的Asia。

2. nuscenes数据集转COCO格式

2.1 3D标注框转2D

nuscenes数据集采用的是三维框标注的数据集,故需要将3D标注框转化为2D格式。
使用官方工具nuscenes-devkthttps://github.com/nutonomy/nuscenes-devkit
克隆下来

cd ~
git clone https://github.com/nutonomy/nuscenes-devkit
  • 1
  • 2

找到export_2d_annotations_as_json.py路径在/nuscenes-devkit/python-sdk/nuscenes/scripts/export_2d_annotations_as_json.py
该文件有以下5种选项,分别是--dataroot/--version/--filename/--visibilities/--image_limit
--dataroot是我们下载的MetaData的路径
--version是我们需要转化的json文件的存放文件夹名
--filename是我们对生成的2D框的json文件的保存名称

    parser.add_argument('--dataroot', type=str, default='/data/sets/nuscenes', help="Path where nuScenes is saved.")
    parser.add_argument('--version', type=str, default='v1.0-trainval', help='Dataset version.')
    parser.add_argument('--filename', type=str, default='image_annotations.json', help='Output filename.')
    parser.add_argument('--visibilities', type=str, default=['', '1', '2', '3', '4'],
                        help='Visibility bins, the higher the number the higher the visibility.', nargs='+')
    parser.add_argument('--image_limit', type=int, default=-1, help='Number of images to process or -1 to process all.')
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

运行该python文件即可获得2D-box型的json文件,例如,我下载了Mini的数据包,我的MetaData路径是~/nuscenes,该文件下有以下四个文件夹在这里插入图片描述
/nuscenes-devkit/python-sdk/nuscenes/scripts/路径下打开终端,我的命令如下,大家自行修改自己的路径及文件夹名称

python3 export_2d_annotations_as_json.py --dataroot ~/nuscenes --version v1.0-mini --filename 2D-box.json
  • 1

这样就会在v1.0-mini文件夹下生成一个2D-box.json的文件。
PS:在这里详细说一下为什么下载数据集的时候要选择full dataset而不是nuImages,因为export_2d_annotations_as_json.py程序需要的很多json文件在nuImages数据集中没有包含,所以无法转化成2D框,所以在下载数据集的时候务必下载Full dataset。

2.2 nuscenes 2D格式转为COCO

在github上找到一个nuscenes 2D框转为COCO格式的一个工程https://github.com/AlizadehAli/2D_label_parser

cd ~
git clone https://github.com/AlizadehAli/2D_label_parser
  • 1
  • 2

包含labels和target_labels两个文件夹,labels是存放刚刚上一步生成的json文件的,把我们上一步生成的文件放进去,并修改文件名为2D_nuscenes.json放入labels文件夹中
打开查看一下我们的json文件

gedit 2D_nuscenes.json
  • 1

在这里插入图片描述
这里可以看到box的数据结构,分别是四个角点的像素坐标,从上到下为x1,y1,x2,y2
我们打开label_parser.py,如下可以看到convert这个函数,对应上面box的数据结构可以明显看出xywh的计算是有问题的

def convert(size, box):
    dw = 1./size[0]
    dh = 1./size[1]
    x = (box[0] + box[1])/2.0
    y = (box[2] + box[3])/2.0
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x*dw
    w = w*dw
    y = y*dh
    h = h*dh
    return (x,y,w,h)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12

将convert函数改为下面的:

def convert(size, box):
    dw = 1./size[0]
    dh = 1./size[1]
    x = (box[0] + box[2])/2.0
    y = (box[1] + box[3])/2.0
    w = box[2] - box[0]
    h = box[3] - box[1]
    x = x*dw
    w = w*dw
    y = y*dh
    h = h*dh
    return (x,y,w,h)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12

保存
查看代码中的nuscenes_parser函数这里表示了未来yolo训练的类别名称有以下10类,可以根据自己的需要进行修改。

                for idx, name in enumerate(data):
                    if unique_img_names[i] == name['filename']:
                        x, y, w, h = convert((1600, 900), name['bbox_corners'])
                        if 'pedestrian' in name['category_name']:
                            obj_class = 0
                        elif 'bicycle' in name['category_name']:
                            obj_class = 1
                        elif 'motorcycle' in name['category_name']:
                            obj_class = 2
                        elif 'car' in name['category_name']:
                            obj_class = 3
                        elif 'bus' in name['category_name']:
                            obj_class = 4
                        elif 'truck' in name['category_name']:
                            obj_class = 5
                        elif 'emergency' in name['category_name']:
                            obj_class = 6
                        elif 'construction' in name['category_name']:
                            obj_class = 7
                        elif 'movable_object' in name['category_name']:
                            obj_class = 8
                        elif 'bicycle_rack' in name['category_name']:
                            obj_class = 9

                        temp = [str(obj_class), str(x), str(y), str(w), str(h), '\n']
                        L = " "
                        L = L.join(temp)
                        f.writelines(L)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28

然后查看代码可以看到有以下选项

    parser.add_argument("-dt", "--data_type",
                        default="yolo",
                        help="data type of interest; yolo, bdd, nuscenes")
    parser.add_argument("-l", "--label_dir", default="./labels/",
                        help="root directory of the labels for YOLO json file, Berkeley Deep Drive (BDD) json-file, nuscenes")
    parser.add_argument("-s", "--save_dir", default="./target_labels/",
                        help="path directory to save the the converted label files")
    parser.add_argument("-i", "--image_dir",
                        default=None, required=False,
                        help="path where the images are located to BDD100K, nescenes, etc.")
    parser.add_argument("-o", "--output_dir",
                        default=None, required=False,
                        help="output directory to save the manipulated image files")
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13

然后就是运行该程序,我们数据格式是nuscenes我的运行命令如下,注意save_dir必须包含以下六个文件夹,否则程序会报找不到文件之类的的错误
在这里插入图片描述

python3 label_parser.py -dt nuscenes -s ~/nuscenes/samples/
  • 1

等待程序运行结束,可能有些会报os之类的一些错误,只要txt成功生成了就没有问题。

2.3 数据集文件名对齐

首先将所有txt文件放在一个新文件夹TXT/中,将所有图片放在一个新文件夹CAM_ALL/中
使用如下程序data.py,比对两个文件夹下的文件名,删除没有标签的图片或者没有图片的标签。

data.py

import xml.dom.minidom
import os
root_path = '/home/hit/nuscenes/'
annotation_path = root_path + 'TXT/'
img_path = root_path + 'CAM_ALL/'
annotation_list = os.listdir(annotation_path)
img_list = os.listdir(img_path)
if len(img_list) != len(annotation_list):
    print("图片和标签数目不匹配")
    if len(img_list) < len(annotation_list):
        print("标签比图片多")
        error_xml = []
        for _ in annotation_list:
            xml_name = _.split('.')[0]
            img_name = xml_name + '.jpg'
            if img_name not in img_list:
                error_xml.append(_)
				os.remove(_)
        print("error xml:", error_xml)
    else:
        print("图片比标签多")
        error_img = []
        for _ in img_list:
            img_name = _.split('.')[0]
            xml_name = img_name + '.txt'
            if xml_name not in annotation_list:
                error_img.append(_)
                os.remove(_)
        print("缺少标签的图片:", error_img)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29

使用如下命令运行该程序

python3 data.py
  • 1

运行后查看txt总数与图片总数是否一致,一致就可以放入darknet训练了

3. yolov4训练

首先需要darknet源码https://github.com/AlexeyAB/darknet

git clone https://github.com/AlexeyAB/darknet
  • 1

然后就是源码的编译,建议查看官方文档或其他博客,此部分不再赘述

然后就是将上述第二步的txt和jpg分别放入训练的指定文件夹,由于我们没有voc格式的xml标签格式,所以无法使用程序自动分配数据集,我们在图片/你的darknet路径/你的训练图片路径/下运行以下命令

ls -R /你的darknet路径/你的训练图片路径/*.jpg > file.txt
  • 1

这样会生成一个file.txt,将该文件的内容复制到/你的darknet路径/scripts/,将file.txt的文件内容复制到该文件夹下的所有txt文件,如果没有就新建2007_test.txt,2007_train.txt,2007_val.txt,train.all.txt,train.txt这五个文件,并把file.txt文件内容放进去
修改cfg/voc.data中的类别改为10类,修改data/voc.name为上述10类的类名
修改cfg/yolov4.cfg,建议跟随官网修改方式修改https://github.com/AlexeyAB/darknet

启动训练

./darknet detector train cfg/voc.data cfg/yolov4.cfg yolov4.conv.137
  • 1

至此,yolo训练nuscenes数据集结束

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/酷酷是懒虫/article/detail/869526
推荐阅读
相关标签
  

闽ICP备14008679号