mot数据集_基于MATLAB的MOT官方评估工具

作者：从前慢现在也慢 | 2024-03-01 18:42:06

踩

motgcc

MOT数据集

数据集地址：MOT Challenge

数据集格式：MOT Challenge，MOT17数据集格式_bug++-CSDN博客_mot数据集格式

本实验是基于mmdetection框架faster rcnn，数据集格式为将MOT17-Det转化成VOC格式进行训练，对于训练集的结果利用以下脚本转化成标准格式

数据集处理及训练参照以下几篇文章：

HUST小菜鸡：将MOT17-Det数据集转成VOC格式zhuanlan.zhihu.com

HUST小菜鸡：通过HSV转换的方式实现图片数据增强zhuanlan.zhihu.com

HUST小菜鸡：使用mmdetection测试以及生成检测结果zhuanlan.zhihu.com


import pickle
# import cv2
import numpy as np
import os
 
fp_pkl = open('faster_voc_train1.pkl','rb')
inf = pickle.load(fp_pkl)
length = len(inf)
 
# print(inf[:5])
print(length)
fp_txt = open('train1.txt','r')
train_list = fp_txt.readlines()
print(train_list[100])
 
output_dir = 'D:/Pycharm/MOT-DET/result'
if not os.path.exists(output_dir):
    os.makedirs(output_dir)
# for i in range (len(test_list)):
 
fp2 = open(output_dir+'/MOT17-02.txt','w')
fp4 = open(output_dir+'/MOT17-04.txt','w')
fp5 = open(output_dir+'/MOT17-05.txt','w')
fp9 = open(output_dir+'/MOT17-09.txt','w')
fp10 = open(output_dir+'/MOT17-10.txt','w')
fp11 = open(output_dir+'/MOT17-11.txt','w')
fp13 = open(output_dir+'/MOT17-13.txt','w')
 
for i in range(length):
    pic_info = train_list[i]
    file_fp = pic_info[:2]
    if file_fp=='02':
        fp = fp2
    if file_fp == '04':
        fp = fp4
    if file_fp=='05':
        fp = fp5
    if file_fp=='09':
        fp = fp9
    if file_fp=='10':
        fp = fp10
    if file_fp=='11':
        fp = fp11
    if file_fp=='13':
        fp = fp13
    fram = int(pic_info[2:])
 
    for pre in inf[i]:
        for one in pre:
            x1 = one[0]
            y1 = one[1]
            x2 = one[2]
            y2 = one[3]
            conf = one[4]
            w = x2-x1
            h = y2-y1
            result = str(fram) + ',' + str(-1) +',' + str(x1) + ',' + str(y1) +',' + str(w) + ',' + str(h) + ',' + str(conf)+'n'
            fp.writelines(result)
 
 
fp2.close()
fp4.close()
fp5.close()
fp9.close()
fp10.close()
fp11.close()
fp13.close()

生成结果如图所示

motchallenage-devkit官方工具

官方工具地址：Bitbucket

官方工具Github地址：xstgavin/amilan-motchallenge-devkit

官方python工具：cheind/py-motmetrics（看着很复杂，想尝试放弃了）

MATLAB配置

官方工具基于MATLAB，运行需要C/C++环境，按照指引，使用工具包里面的compile，但是在编译的过程会显示“mex -setup 未找到支持的编译器或 SDK。您可以安装免费提供的 MinGW-w64 C/C++ 编译器”错误，现有的官方的安装编译器个人尝试都是安装不成功的，偶然在网上找到一个可用的TDM-GCC编译器（亲测可用），默认安装即可

https://sourceforge.net/projects/tdm-gcc/sourceforge.net GCC编译器(TDM-GCC) v5.1.0 官方最新安装版 windows 64bitwww.jb51.net

安装完成配置环境


>> setenv('MW_MINGW64_LOC','C:TDM-GCC-64')
>> mex -setup
MEX 配置为使用 'MinGW64 Compiler (C)' 以进行 C 语言编译。
警告: MATLAB C 和 Fortran API 已更改，现可支持
	 包含 2^32-1 个以上元素的 MATLAB 变量。您需要
	 更新代码以利用新的 API。
	 您可以在以下网址找到更多的相关信息:
	 http://www.mathworks.com/help/matlab/matlab_external/upgrading-mex-files-to-use-64-bit-api.html。
 
要选择不同的语言，请从以下选项中选择一种命令:
 mex -setup C++ 
 mex -setup FORTRAN
>> mex -setup C++
MEX 配置为使用 'MinGW64 Compiler (C++)' 以进行 C++ 语言编译。
警告: MATLAB C 和 Fortran API 已更改，现可支持
	 包含 2^32-1 个以上元素的 MATLAB 变量。您需要
	 更新代码以利用新的 API。
	 您可以在以下网址找到更多的相关信息:
	 http://www.mathworks.com/help/matlab/matlab_external/upgrading-mex-files-to-use-64-bit-api.html。

compile


>> compile
使用 'MinGW64 Compiler (C++)' 编译。
MEX 已成功完成。
使用 'MinGW64 Compiler (C++)' 编译。
MEX 已成功完成。
使用 'MinGW64 Compiler (C++)' 编译。
MEX 已成功完成。

motchallenage-devkit的使用

详细的使用参照官方给出的readme，个人觉得那个说的很详细

对于本工具包，官方给出了以下几种数据结果的评估接口

demo_evalMOT15
demo_evalMOT15_3D
demo_evalMOT16
demo_evalMOT17Det
demo_evalDukeMTMCT
demo_evalCVPR19

使用也很简单，只需要修改demo对应的路径地址运行就可以了

以MOT17-Det为例

evaluateDetection函数有三个参数

evaluateDetection(seqmap, resDir, gtDataDir)

(1)seqmap

包含需要被评估的序列，该序列存放在./seqmaps文件夹中

(2)resDir

检测结果的存放位置，检测的结果的格式参照之前的mot官网的要求，也可以参照代码给出的测试案例

(3)gtDataDir

真实值标注地址，可以是本项目路径某个文件夹，也可以是电脑本地某个文件夹

以下是测试的结果


>> demo_evalMOT17Det
Challenge: MOT17Det
Set: Training Set
Sequences: 
    'MOT17-02'
    'MOT17-04'
    'MOT17-05'
    'MOT17-09'
    'MOT17-10'
    'MOT17-11'
    'MOT17-13'
 
Preprocessing (cleaning) MOT17-02...
......
Removing 4187 boxes from solution...
Preprocessing (cleaning) MOT17-04...
..........
Removing 11509 boxes from solution...
Preprocessing (cleaning) MOT17-05...
........
Removing 1071 boxes from solution...
Preprocessing (cleaning) MOT17-09...
.....
Removing 880 boxes from solution...
Preprocessing (cleaning) MOT17-10...
......
Removing 2412 boxes from solution...
Preprocessing (cleaning) MOT17-11...
.........
Removing 1408 boxes from solution...
Preprocessing (cleaning) MOT17-13...
.......
Removing 2078 boxes from solution...
Evaluating unknown
	... MOT17-02
	... MOT17-04
	... MOT17-05
	... MOT17-09
	... MOT17-10
	... MOT17-11
	... MOT17-13
Ok, results are valid. EVALUATING...
*** Dataset: MOT17Det ***
Recall:     0.000 0.100 0.200 0.300 0.400 0.500 0.600 0.700 0.800 0.900 1.000
Precision:  1.000 0.984 0.981 0.981 0.966 0.964 0.969 0.968 0.964 0.961 0.000
Average Precision: 0.8852
 Rcll  Prcn|  FAR     GT     TP     FP     FN| MODA  MODP 
 98.5  92.6| 0.98  66393  65418   5232    975| 90.7  90.1 
 
 
Here are the per-sequence evaluations:
 
	... MOT17-02
Recall:     0.000 0.100 0.200 0.300 0.400 0.500 0.600 0.700 0.800 0.900 1.000
Precision:  1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.999 0.998 0.000
Average Precision: 0.9087
 Rcll  Prcn|  FAR     GT     TP     FP     FN| MODA  MODP 
 97.5  97.3| 0.33   7288   7103    195    185| 94.8  92.1 
 
	... MOT17-04
Recall:     0.000 0.100 0.200 0.300 0.400 0.500 0.600 0.700 0.800 0.900 1.000
Precision:  1.000 0.957 0.968 0.970 0.973 0.977 0.965 0.961 0.958 0.955 0.000
Average Precision: 0.8804
 Rcll  Prcn|  FAR     GT     TP     FP     FN| MODA  MODP 
 99.2  91.7| 2.47  28936  28713   2594    223| 90.3  90.2 
 
	... MOT17-05
Recall:     0.000 0.100 0.200 0.300 0.400 0.500 0.600 0.700 0.800 0.900 1.000
Precision:  1.000 1.000 0.993 0.993 0.991 0.970 0.974 0.973 0.970 0.964 0.000
Average Precision: 0.8935
 Rcll  Prcn|  FAR     GT     TP     FP     FN| MODA  MODP 
 99.0  91.3| 0.42   3667   3632    348     35| 89.6  85.8 
 
	... MOT17-09
Recall:     0.000 0.100 0.200 0.300 0.400 0.500 0.600 0.700 0.800 0.900 1.000
Precision:  1.000 0.938 0.968 0.978 0.982 0.984 0.975 0.979 0.980 0.982 0.000
Average Precision: 0.8879
 Rcll  Prcn|  FAR     GT     TP     FP     FN| MODA  MODP 
 98.7  95.2| 0.30   3154   3113    158     41| 93.7  93.2 
 
	... MOT17-10
Recall:     0.000 0.100 0.200 0.300 0.400 0.500 0.600 0.700 0.800 0.900 1.000
Precision:  1.000 0.998 0.999 0.998 0.997 0.996 0.995 0.994 0.991 0.989 0.000
Average Precision: 0.9051
 Rcll  Prcn|  FAR     GT     TP     FP     FN| MODA  MODP 
 99.1  90.2| 1.52   9172   9088    991     84| 88.3  88.0 
 
	... MOT17-11
Recall:     0.000 0.100 0.200 0.300 0.400 0.500 0.600 0.700 0.800 0.900 1.000
Precision:  1.000 1.000 1.000 1.000 1.000 0.998 0.996 0.996 0.993 0.984 0.000
Average Precision: 0.9061
 Rcll  Prcn|  FAR     GT     TP     FP     FN| MODA  MODP 
 99.8  95.3| 0.34   6137   6123    305     14| 94.8  93.0 
 
	... MOT17-13
Recall:     0.000 0.100 0.200 0.300 0.400 0.500 0.600 0.700 0.800 0.900 1.000
Precision:  1.000 1.000 0.989 0.984 0.987 0.988 0.989 0.990 0.991 0.990 0.000
Average Precision: 0.9007
 Rcll  Prcn|  FAR     GT     TP     FP     FN| MODA  MODP 
 95.1  92.3| 0.85   8039   7646    641    393| 87.1  88.3

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/176087