AllinToyou

这个屌丝很懒，什么也没留下！

热门标签

YOLO v3——训练自己的VOC数据及训练技巧_yolov3训练voc

作者：AllinToyou | 2024-06-16 19:44:39

踩

yolov3训练voc

一、安装darknet

二、编译（这里直接安装ｃｐｕ版本作为例子）

一、安装darknet


$ git clone https://github.com/pjreddie/darknet  
$ cd darknet

二、编译（这里直接安装ｃｐｕ版本作为例子）

 make

GPU版本参考官网 https://pjreddie.com/darknet/install/；关于CUDA安装参考https://mp.csdn.net/postedit/84945540

编译成功后执行：

$ ./darknet

输入如下即为安装成功：

三、制作数据集

1、进入 darknet-master/scripts 目录里创建类似VOC数据集下的这几个文件夹

主要使用 Annotations、ImageSets里的Main 和 JPEGImages 这三个文件夹

２、文件配置介绍

１）Annotations文件夹里存放xml标签文件：

）

２）ImageSets里的Main文件夹里存放训练集和验证集：

这两个文件里面的内容只需填要图片的名称即可，不需要后缀名

比如我的图片是：00001.jpg，那么我只要写00001即可

traint.txt格式如下：（text.txt一样的格式）

３）JPEGImages文件夹里存放训练集和验证集的图片文件

全部图片放在一起即可，到时程序会根据你的train.txt和test.txt去找你的图片和对应的标签文件，所以要保证同一张图片对应的标签文件的名称一样

３、利用scripts目录下的voc_label.py脚本生成到时候训练时调用的图片关联txt文件

　　这里的voc_label.py要修改两个地方

＃＃sets那个地方改成刚刚在Ｍａｉｎ里面添加了那个文件的名称

＃＃Ｃlasses那个地方列表里的内容改成你自己数据的类的名称

以及注释掉最后那两行

整个文件是这样子的


import xml.etree.ElementTree as ET
import pickle
import os
from os import listdir, getcwd
from os.path import join
 
sets=[('2007', 'train'), ('2007', 'test')]
 
classes = ["P", "G"]
 
 
def convert(size, box):
    dw = 1./(size[0])
    dh = 1./(size[1])
    x = (box[0] + box[1])/2.0 - 1
    y = (box[2] + box[3])/2.0 - 1
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x*dw
    w = w*dw
    y = y*dh
    h = h*dh
    return (x,y,w,h)
 
def convert_annotation(year, image_id):
    in_file = open('VOCdevkit/VOC%s/Annotations/%s.xml'%(year, image_id))
    out_file = open('VOCdevkit/VOC%s/labels/%s.txt'%(year, image_id), 'w')
    tree=ET.parse(in_file)
    root = tree.getroot()
    size = root.find('size')
    w = int(size.find('width').text)
    h = int(size.find('height').text)
 
    for obj in root.iter('object'):
        difficult = obj.find('difficult').text
        cls = obj.find('name').text
        if cls not in classes or int(difficult)==1:
            continue
        cls_id = classes.index(cls)
        xmlbox = obj.find('bndbox')
        b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text), float(xmlbox.find('ymax').text))
        bb = convert((w,h), b)
        out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')
 
wd = getcwd()
 
for year, image_set in sets:
    if not os.path.exists('VOCdevkit/VOC%s/labels/'%(year)):
        os.makedirs('VOCdevkit/VOC%s/labels/'%(year))
    image_ids = open('VOCdevkit/VOC%s/ImageSets/Main/%s.txt'%(year, image_set)).read().strip().split()
    list_file = open('%s_%s.txt'%(year, image_set), 'w')
    for image_id in image_ids:
        list_file.write('%s/VOCdevkit/VOC%s/JPEGImages/%s.jpg\n'%(wd, year, image_id))
        convert_annotation(year, image_id)
    list_file.close()
 
#os.system("cat 2007_train.txt 2007_val.txt 2012_train.txt 2012_val.txt > train.txt")
#os.system("cat 2007_train.txt 2007_val.txt 2007_test.txt 2012_train.txt 2012_val.txt > train.all.txt")

然后执行voc_label.py

$ python voc_label.py

这时会生成2个东西，这两个东西后面要用到的

第一个，在 darknet-master/scripts/VOCdevkit/VOC2007 目录下得到labels文件夹，这时我们的VOC2007已经存在四个文件夹了

我们打开其中一个label里面的文件看看

＃＃前面第一个数字０代表的就是前面我们在classes列表里定义的第一个标签类—Ｐ

＃＃后面的4个数字就是之前在xml文件里的ground truth框框的xmin xmax ymin ymax的坐标啦，这里自动将坐标除以图像的宽和高进行归一化了

第二个，在 darknet-master/scripts 目录下，会得到 2007_train.txt 和 2007_test.txt 这两个文件：

我们打开2007_train.txt文件看看，这里面是训练集图片的具体路径位置，它将会作为后期训练的一个索引文件来找到那些数据集

到这里数据集就准备好了

四、修改训练配置文件

１、修改训练初始化超参数（我们这里以yolov3-tiny为例子）

/darknet-master/cfg 目录下有很多版本的cfg网络文件，我们打开yolov3-tiny.cfg进行超参数设置

下面我对每个参数做了注释，其实要更改的地方是　　##注意##　　所在行的参数

[net]
# Testing ### 测试模式
#batch=1
#subdivisions=1
# Training ### 训练模式，每次前向的图片数目 = batch/subdivisions
batch=64 ###这个地方改成64。 ##注意##这里 batch=64
subdivisions=2 ##注意##这里 subdivisions=2
width=720 ### 网络的输入宽、高、通道数
height=1280
channels=3
momentum=0.9 ### 动量
decay=0.0005 ### 权重衰减
angle=0
saturation = 1.5 ### 饱和度
exposure = 1.5 ### 曝光度
hue=.1 ### 色调

learning_rate=0.001 ### 学习率
burn_in=1000 ### 学习率控制的参数
max_batches = 10000 ### 迭代次数 ##注意##　这里训练次数一般填10000到50000次
policy=steps ### 学习率策略
steps=400000,450000 ### 学习率变动步长
scales=.1,.1 ### 学习率变动因子

[convolutional]
batch_normalize=1       ### BN
filters=16           ### 卷积核数目
size=3               ### 卷积核尺寸
stride=1           ### 卷积核步长
pad=1               ### pad
activation=leaky       ### 激活函数

[maxpool] ###最大池化层
size=2
stride=2

[convolutional]
batch_normalize=1
filters=32
size=3
stride=1
pad=1
activation=leaky

[maxpool]
size=2
stride=2

[convolutional]
batch_normalize=1
filters=64
size=3
stride=1
pad=1
activation=leaky

[maxpool]
size=2
stride=2

[convolutional]
batch_normalize=1
filters=128
size=3
stride=1
pad=1
activation=leaky

[maxpool]
size=2
stride=2

[convolutional]
batch_normalize=1
filters=256
size=3
stride=1
pad=1
activation=leaky

[maxpool]
size=2
stride=2

[convolutional]
batch_normalize=1
filters=512
size=3
stride=1
pad=1
activation=leaky

[maxpool]
size=2
stride=1

[convolutional]
batch_normalize=1
filters=1024
size=3
stride=1
pad=1
activation=leaky

###########

[convolutional]
batch_normalize=1
filters=256
size=1
stride=1
pad=1
activation=leaky

[convolutional]
batch_normalize=1
filters=512
size=3
stride=1
pad=1
activation=leaky

[convolutional]
size=1
stride=1
pad=1
filters=21 ##注意##　这里更改为（classes + 5）x3
activation=linear

[yolo]
mask = 3,4,5
anchors = 10,14, 23,27, 37,58, 81,82, 135,169, 344,319
classes=2 ###类别 ##注意##　这里类别填你的标注类别有多少类
num=6
jitter=.3
ignore_thresh = .7
truth_thresh = 1
random=1 ###如果显存很小，将random设置为0，关闭多尺度训练

[route]
layers = -4

[convolutional]
batch_normalize=1
filters=128 ###更改为filters =（classes + 5）x3
size=1
stride=1
pad=1
activation=leaky

[upsample]
stride=2

[route]
layers = -1, 8

[convolutional]
batch_normalize=1
filters=21 ###更改为filters =（classes + 5）x3 ##注意##　这里更改为（classes + 5）x3
size=3
stride=1
pad=1
activation=leaky

[convolutional]
size=1
stride=1
pad=1
filters=21 ###更改为filters =（classes + 5）x3 ##注意##　这里更改为（classes + 5）x3
activation=linear

[yolo]
mask = 0,1,2
anchors = 10,14, 23,27, 37,58, 81,82, 135,169, 344,319
classes=2       ###类别 ##注意##　这里类别填你的标注类别有多少类
num=6
jitter=.3       ### 数据扩充的抖动操作
ignore_thresh = .7       ###文章中的阈值1
truth_thresh = 1       ###文章中的阈值2
random=1       ###如果显存很小，将random设置为0，关闭多尺度训练

２、训练参数优化

　在darknet目录下创建两个文件：voc.names　和　voc.data

voc.names文件：每一个类别单独一行写上去

voc.data文件：

classes = 2　　　　＃类的数目
train = /darknet/scripts/2007_train.txt　　＃刚刚2007_train.txt的路径
valid = /darknet/scripts/2007_test.txt　　＃刚刚2007_test.txt的路径
names = /darknet/voc.names　　　　　＃刚刚voc.names文件的路径
backup = /darknet/backup　　　　　　　＃到时候训练出来模型权重所在文件夹

五、开始训练

１、下载预训练权重文件

wget http://pjreddie.com/media/files/darknet53.conv.74

２、在darknet中打开终端输入＼以下命令即可开始训练

./darknet detector train voc.data cfg/yolov3-tiny.cfg darknet53.conv.74

六、训练过程中参数含义

Region xx: cfg文件中yolo-layer的索引；
Avg IOU:当前迭代中，预测的box与标注的box的平均交并比，越大越好，期望数值为1；
Class: 标注物体的分类准确率，越大越好，期望数值为1；
obj: 越大越好，期望数值为1；
No obj: 越小越好；
.5R: 以IOU=0.5为阈值时候的recall; recall = 检出的正样本/实际的正样本
0.75R: 以IOU=0.75为阈值时候的recall;
count:正样本数目。

七、训练小窍门

１、断点重新训练

如果从某次断了重新开始训练，只需要把 darknet53.conv.74 换成你的某一次的weights即可

例如：把命令行中的参数 darknet53.conv.74 改成 yolov3-tiny_1000.weights 即可

２、修改cfg/xxx.cfg，首先修改分类数为自己的分类数，然后注意开头部分训练的batchsize和subdivisions被注释了，如果需要自己训练的话就需要去掉，测试的时候需要改回来，最后可以修改动量参数为0.99和学习率改小，这样可以避免训练过程出现大量nan的情况，最后把每个[yolo]前的filters改成18这里怎么改具体可以看这个issule:https://github.com/pjreddie/darknet/issues/582, 改完之后就可以训练我们的模型了

３、若出现显存不足，可修改batch的大小和取消random多尺度，默认情况下random=1，取消将random=0，一共在3处地方。

声明：本文内容由网友自发贡献，转载请注明出处：【wpsshop博客】