足球视频AI(三)——YOLOV7目标检测自训练模型_yolov7训练模型

一、基础概念

YoloV7提供的yolov7-tiny.onnx 对于图像中包含较大尺寸的足球检测准确率高。

但在实际应用中，足球视频中的足球非常小，默认的模型难于满足实际的足球检测需求。

1.1 识别目标

1）固定机位的视频中足球的逐帧识别

1.2 实现思路

1）采用labelImg对视频中的逐帧图像进行标注，并保存为yolo格式

2）采用YoloV7源码对标注数据进行训练

3）集成到实践项目中

二、数据标注

下载labelImg

2.1 准备数据

编写简单的应用程序，从视频帧中采样关键帧图片（可以每隔60帧取一张），以下代码是样例

    public class LoadImages
    {      
		public static IEnumerable<Mat> LoadVideo(string file)
        {
            Mat imageOriginal = new Mat();
            using (var videocapture = new VideoCapture(file))
            {
                while (videocapture.Read(imageOriginal))
                    yield return imageOriginal;
            }
        }
    }
1
2
3
4
5
6
7
8
9
10
11
12

var mats = LoadImages.LoadVideo("您的多个视频逐个处理的文件地址");
int i=0;
mats.ForEach(p=>{
    p.SaveImage($"scene{i}.png");
    i++;
})
1
2
3
4
5
6

2.2 使用labelImg

2.2.1 配置

找到labelImg.exe所在目录，进入“data”文件夹，找到predefined_classes.txt 文件

dog
person
cat
tv
car
meatballs
marinara sauce
tomato soup
chicken noodle soup
french onion soup
chicken breast
ribs
pulled pork
hamburger
cavity
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

将文件中的内容清除，仅保留ball一项

ball
1

2.2.2 设置目录

双击labelImg.exe：

1，Open Dir是你的帧图片保存目录

2, Change Save Dir 是标注文件保存的目录

建立如下格式：

--Marks
  -- images
  -- lables 
1
2
3

其中 images 设置为Open Dir的目录，lables设置为 Change Save Dir的目录

2.2.3 标注图像

1. 左侧菜单中PascalVOC 确保更换为YOLO

2. 选择右下侧的Filelist中第一个文件，然后Create RectBox，在图像中标记足球。

3. 在BoxLabel中选择ball

4. 下一张

进入“labels”目录，会自动创建对应图像名字的标注文件"scene00601.txt"，形如：

0 0.555990 0.759633 0.057813 0.102752
1

三、训练图像

3.1 配置源码

1、下载YoloV7源码

git clone https://github.com/WongKinYiu/yolov7.git
1

2、安装依赖

1）打开VisualStudio Code
2）打开源码文件夹
3）创建命令终端
1
2
3

初始化环境

pip install -r requirements.txt
1

3、拷贝标注数据

--YoloV7-Main
  --cfg
  --data
    --train
        --images
        --labels
    --val
        --images
        --labels
1
2
3
4
5
6
7
8
9

将”二、标注数据“中的images和labels放到yolov7的data文件夹下，如上所示

其中，80%数据放到train中，为训练用数据；

​ 20%数据放在val中，为验证数据；

4、编辑coco文件

从data文件夹中打开**“coco.yaml”文件并删除前 4 行（直到下载部分）**。

设置‘train: data/train‘

设置‘val: data/val‘

设置 ‘nc:1‘ ，因为这里我们只有一个类别"ball"

设置 names:[‘ball’]

5、编辑yolov7.yaml

从cfg/training文件夹中，打开yolov7.yaml文件

设置 ‘nc:1‘ ，因为这里我们只有一个类别"ball"

6、下载预训练模型

下载[yolov7.pt](https://github.com/WongKinYiu/yolov7#performance文件

保存到YoloV7-Main 根目录

3.2 开始训练

命令终端输入以下指令

python train.py --workers 1 --device 0 --batch-size 16 --epochs 100 --img 640 640 --hyp data/hyp.scratch.custom.yaml --name yolov7-custom --weights yolov7.pt
1

两种情况：

1）有GPU，参阅GPU的配置

2）没有GPU，删除–device 0命令参数

四、项目集成

按yolov7官网的说明,yolov7-custom.pt 文件转为onnx文件

python export.py --weights=yolov7-custom.pt --grid --simplify
1

C#调用

    public class DetectorYolov7Custom : IDetector<YoloPrediction>
    {
        private readonly Yolov7 _yolo;
        public DetectorYolov7()
        {
            _yolo = new Yolov7(Path.Combine(System.AppDomain.CurrentDomain.BaseDirectory, "Assets/yolov7-custom.onnx"));
            _yolo.SetupYoloDefaultLabels();
        }

        /// <inheritdoc/>
        public List<YoloPrediction> Detect(Mat mat)
        {
            var items = _yolo.Predict(mat.ToBitmap());
            return items;
        }

        public void Dispose()
        {
            _yolo?.Dispose();
        }
    }
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

目标检测

        [Fact]
        public void TestYoloCuctomDetectBall()
        {
            var detector = new DetectorYolov7Custom();
            List<YoloPrediction> lst;
            using (var mat = LoadImages.Load("field_2.jpg"))
            {
                lst = detector.Detect(mat);
            }
            Assert.True(lst.Any(p=>p.Label?.Name?.Equals("ball") == true));
        }
1
2
3
4
5
6
7
8
9
10
11