热门标签
热门文章
- 1【环境配置】安装了pytorch但是报错torch.cuda.is_availabel()=Flase
- 2iproute2和流量控制(ip和tc工具)---iproute2/ip/tc/qdisc实现Linux下的QoS控制_l2tp linux 配置qos
- 3数据分析：随机森林random forest在二分类中的应用_future.globals.maxsize设置
- 4C++代码风格指南--Google（未完待续）
- 55分钟搭建开源运维监控工具Uptime Kuma并实现无公网IP远程访问_网站监测软件 kuma
- 6服务器数据恢复-EqualLogic PS存储硬盘坏道导致存储不可用的数据恢复案例
- 7python处理字符串 从入门到精通仅此一文足够了_python 字符串处理
- 8YOLOv8推理详解及部署实现_yolov8部署
- 9fiddler 手机抓包（含https） 完整流程_fiddler手机抓包,网盘
- 10YOLOV8增加head部分模块-BasicRFB
当前位置: article > 正文
使用OpenCV与Python从零搭建多目标跟踪框架_python opencv frame
作者：羊村懒王 | 2024-02-12 20:44:46
赞
踩
python opencv frame
【博主使用的Python版本：3.9.7】
【博主使用的 OpenCV版本：4.5.0】
本文所使用的资料已上传到百度网盘【https://pan.baidu.com/s/1-OyW8kGbfV58bO4q3GK0tA?pwd=j7u9】，提取码：j7u9。
一、OpenCV是什么？
OpenCV的全称是:Open Source Computer Vision Library， OpenCV是一个基于Apache2.0许可（开源）发行的跨平台计算机视觉和机器学习软件库， 其采用 C/C++ 编写，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。其主要关注的是实时应用，同时，OpenCV 的另一个目标是构建一个简单易用的计算机视觉框架，以帮助开发人员更便捷地设计更复杂的计算机视觉相关的应用程序。可以从http://opencv.org获取。
二、搭建多目标跟踪框架
我们要做的事是搭建一个【多目标跟踪】的简单的框架，你可以跟随我的步骤在PyCharm中一步步地把代码填进去，也可以直接复制完整代码，完整代码在本文最底部。
1.引入OpenCV库
在开始之前，我们需要引入的库：
- numpy ：是用Python进行科学计算的基本软件包。
- math：是主要处理数学相关的运算的常用软件包。
- cv2：是一个著名的计算机视觉库，用于图像处理分析。
- object_detection：在本文的资料包里，用于检测目标。
如果你没有以上的库，请自行安装。
import cv2
import numpy as np
from object_detection import ObjectDetection
import math
- 1
- 2
- 3
- 4
object_detection.py代码如下：
import cv2 import numpy as np class ObjectDetection: def __init__(self, weights_path="dnn_model/yolov4.weights", cfg_path="dnn_model/yolov4.cfg"): print("Loading Object Detection") print("Running opencv dnn with YOLOv4") self.nmsThreshold = 0.4 self.confThreshold = 0.5 self.image_size = 608 # Load Network net = cv2.dnn.readNet(weights_path, cfg_path) # Enable GPU CUDA net.setPreferableBackend(cv2.dnn.DNN_BACKEND_CUDA) net.setPreferableTarget(cv2.dnn.DNN_TARGET_CUDA) self.model = cv2.dnn_DetectionModel(net) self.classes = [] self.load_class_names() self.colors = np.random.uniform(0, 255, size=(80, 3)) self.model.setInputParams(size=(self.image_size, self.image_size), scale=1/255) def load_class_names(self, classes_path="dnn_model/classes.txt"): with open(classes_path, "r") as file_object: for class_name in file_object.readlines(): class_name = class_name.strip() self.classes.append(class_name) self.colors = np.random.uniform(0, 255, size=(80, 3)) return self.classes def detect(self, frame): return self.model.detect(frame, nmsThreshold=self.nmsThreshold, confThreshold=self.confThreshold)
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
2.从视频中获取帧
在开始之前首先进行第一个测试，以确保后面所做的都是正确的。
cap = cv2.VideoCapture("los_angeles.mp4") # 加载视频片段
_, frame = cap.read() # 从视频中获取帧
cv2.imshow("Frame", frame) # 显示帧
cv2.waitKey(0) # 保持窗口打开
- 1
- 2
- 3
- 4
- 5
- 6
运行结果如下：
现在我们成功获取并加载显示出了视频的第一帧，这是一个好的开始。有了第一帧，接下来，继续加载整个视频。
什么是视频？
通俗的来讲，视频就是一个接一个的大量图像。如果你检查相机的规格，例如相机可以以30fps的速度录制，这就意味着相机每秒记录30帧，说明在一秒钟内有30张图像。
所以现在我们将获取帧的步骤放入循环中，在循环内一个接一个地获取帧。注：这里要判断视频是否播放完，即判断是否存在帧，如果不存在帧，则退出循环。
cap = cv2.VideoCapture("los_angeles.mp4") # 加载视频片段
while True: # 获取连续的帧
ret, frame = cap.read() # 从视频中获取帧
if not ret: # 是否存在帧
break # 如果不存在帧，则退出
cv2.imshow("Frame", frame) # 显示帧
key = cv2.waitKey(1) # 1:每帧延迟1ms
if key == 27: # 注：ESC键
break
cap.release() # 释放视频文件
cv2.destroyAllWindows() # 关闭所有窗口
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
运行结果如下（按下ESC键，退出循环）：
（这里只能上传5M以内的图，所以上传的动图压缩了，略模糊）
3.用矩形框将目标框出
已经确保了视频每帧都能成功获取，现在调用object_detection.py中目标检测函数，获取每帧中的包含的目标信息，代码如下：
cap = cv2.VideoCapture("los_angeles.mp4") # 加载视频片段 while True: # 获取连续的帧 ret, frame = cap.read() # 从视频中获取帧 if not ret: # 是否存在帧 break # 如果不存在帧，则退出 (class_ids, scores, boxes) = od.detect(frame) # 当前帧中检测目标中的信息 # class_id：what object is (car / track / person) # score: how confident is about the detection and # box: bounding box of the location of each object for box in boxes: # 不区分类别，只画框 print(box) # 打印框，确保提取目标正确 cv2.imshow("Frame", frame) # 显示帧 key = cv2.waitKey(1) # 1:每帧延迟1ms if key == 27: # 注：ESC键 break cap.release() # 释放视频文件 cv2.destroyAllWindows() # 关闭所有窗口
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
运行结果如下（这里只放了部分）：
[505 802 133 178]
[376 683 122 118]
[1671 603 159 64]
[727 605 68 87]
[972 610 92 74]
[898 508 61 52]
[826 531 61 69]
[592 457 40 32]
[861 457 39 32]
[1214 880 244 199]
[735 445 36 37]
[1100 424 37 25]
[1835 560 85 91]
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
以上结果中，每一行代表一个目标的信息，其中前两个数字为目标框的左上角点坐标（x，y)，第三个数字为目标框的宽度，第四个数字为目标框的高度。知道这些信息后，我们就可以在每帧中画出矩形框，框出目标。代码如下：
(class_ids, scores, boxes) = od.detect(frame) # 当前帧中检测目标中的信息
# class_id：what object is (car / track / person)
# score: how confident is about the detection and
# box: bounding box of the location of each object
for box in boxes: # 不区分类别，只画框
(x, y, w, h) = box # 矩形的左上角坐标，及宽度和高度
cv2.rectangle(frame, (x, y), (x + w, y + h), (0, 255, 0), 2) # 在当前帧中根据box绘制矩形
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
运行结果：
4.分配目标ID
接下来可以给每个跟踪目标分配ID，确保跟踪的为同一个目标。
for box in boxes: # 不区分类别，只画框 # print(box) # 打印框，确保提取目标正确 (x, y, w, h) = box # 矩形的左上角坐标，及宽度和高度 cx = int((x + x + w) / 2) # 中心点的x坐标 cy = int((y + y + h) / 2) # 中心点的y坐标 center_points_cur_frame.append((cx, cy)) # 添加新的中心点到数组中 # print("FRAME N°", count, " ", x, y, w, h) # 打印每一帧中的框 # cv2.circle(frame, (cx, cy), 5, (0, 0, 255), -1) # 在当前帧中以框的中心点为中心画圆，半径为5，红色，用所有颜色填充圆圈 cv2.rectangle(frame, (x, y), (x + w, y + h), (0, 255, 0), 2) # 在当前帧中根据box绘制矩形 # only at the beginning we compare previous and current frame if count <= 2: for pt in center_points_cur_frame: # cv2.circle(frame, pt, 5, (0, 0, 255), -1) # 画出所有中心点 for pt2 in center_points_prev_frame: distance = math.hypot(pt2[0] - pt[0], pt2[1] - pt[1]) # 当前帧与前一帧的目标中心点的距离 if distance < 20: # 距离小于20像素 tracking_objects[track_id] = pt # 当前帧中的目标中心 track_id += 1 else: tracking_objects_copy = tracking_objects.copy() # 建立跟踪目标字典副本 center_points_cur_frame_copy = center_points_cur_frame.copy() for object_id, pt2 in tracking_objects.copy().items(): # 首先遍历新的数组 object_exists = False # 首先假设当前帧中不存在目标 for pt in center_points_cur_frame: # 遍历当前帧中的目标 distance = math.hypot(pt2[0] - pt[0], pt2[1] - pt[1]) # 当前帧与前一帧的目标中心点的距离 # Update IDs position if distance < 20: tracking_objects[object_id] = pt # 更新目标位置 object_exists = True # 目标存在 if pt in center_points_cur_frame: center_points_cur_frame.remove(pt) continue # 继续下一帧 # Remove IDs lost if not object_exists: # 目标不存在 tracking_objects.pop(object_id) # 则移除目标ID # Add new IDs found for pt in center_points_cur_frame: tracking_objects[track_id] = pt track_id += 1 for object_id, pt in tracking_objects.items(): cv2.circle(frame, pt, 5, (0, 0, 255), -1) # 画出所有中心点 # 在帧中显示目标id，文本位置，文本字体类型，字体大小，颜色，粗细（注：需>=0) cv2.putText(frame, str(object_id), (pt[0], pt[1] - 7), 0, 1, (0, 0, 255), 0)
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
运行结果：
object_tracking.py完整代码如下：
import cv2 import numpy as np from object_detection import ObjectDetection import math # Initialize Object Detection od = ObjectDetection() # 加载目标 cap = cv2.VideoCapture("los_angeles.mp4") # 加载视频片段 frames = cap.get(cv2.CAP_PROP_FRAME_COUNT) # 通过属性获取帧数 # Initialize count count = 0 # 用于计算视频的实际帧数 # center_points = [] # 用于储存所有的中心点 center_points_prev_frame = [] # 空数组用于储存第一帧前的空帧 tracking_objects = {} # 用于储存跟踪目标 track_id = 0 # 跟踪目标初始序号 print(cv2.__version__) while True: # 获取连续的帧 ret, frame = cap.read() # 从视频中获取帧 count += 1 if not ret: # 是否存在帧 break # 如果不存在帧，则退出 # point current frame center_points_cur_frame = [] # 用于储存当前帧的目标的中心点 # Detect objects on frame (class_ids, scores, boxes) = od.detect(frame) # 当前帧中检测目标中的信息 # class_id：what object is (car / track / person) # score: how confident is about the detection and # box: bounding box of the location of each object for box in boxes: # 不区分类别，只画框 # print(box) # 打印框，确保提取目标正确 (x, y, w, h) = box # 矩形的左上角坐标，及宽度和高度 cx = int((x + x + w) / 2) # 中心点的x坐标 cy = int((y + y + h) / 2) # 中心点的y坐标 center_points_cur_frame.append((cx, cy)) # 添加新的中心点到数组中 # print("FRAME N°", count, " ", x, y, w, h) # 打印每一帧中的框 # cv2.circle(frame, (cx, cy), 5, (0, 0, 255), -1) # 在当前帧中以框的中心点为中心画圆，半径为5，红色，用所有颜色填充圆圈 cv2.rectangle(frame, (x, y), (x + w, y + h), (0, 255, 0), 2) # 在当前帧中根据box绘制矩形 # only at the beginning we compare previous and current frame if count <= 2: for pt in center_points_cur_frame: # cv2.circle(frame, pt, 5, (0, 0, 255), -1) # 画出所有中心点 for pt2 in center_points_prev_frame: distance = math.hypot(pt2[0] - pt[0], pt2[1] - pt[1]) # 当前帧与前一帧的目标中心点的距离 if distance < 20: # 距离小于20像素 tracking_objects[track_id] = pt # 当前帧中的目标中心 track_id += 1 else: tracking_objects_copy = tracking_objects.copy() # 建立跟踪目标字典副本 center_points_cur_frame_copy = center_points_cur_frame.copy() for object_id, pt2 in tracking_objects.copy().items(): # 首先遍历新的数组 object_exists = False # 首先假设当前帧中不存在目标 for pt in center_points_cur_frame: # 遍历当前帧中的目标 distance = math.hypot(pt2[0] - pt[0], pt2[1] - pt[1]) # 当前帧与前一帧的目标中心点的距离 # Update IDs position if distance < 20: tracking_objects[object_id] = pt # 更新目标位置 object_exists = True # 目标存在 if pt in center_points_cur_frame: center_points_cur_frame.remove(pt) continue # 继续下一帧 # Remove IDs lost if not object_exists: # 目标不存在 tracking_objects.pop(object_id) # 则移除目标ID # Add new IDs found for pt in center_points_cur_frame: tracking_objects[track_id] = pt track_id += 1 for object_id, pt in tracking_objects.items(): cv2.circle(frame, pt, 5, (0, 0, 255), -1) # 画出所有中心点 # 在帧中显示目标id，文本位置，文本字体类型，字体大小，颜色，粗细（注：需>=0) cv2.putText(frame, str(object_id), (pt[0], pt[1] - 7), 0, 1, (0, 0, 255), 0) print("Tracking Objects :") print(tracking_objects) print("CUR FRAME LEFT PTS ：") print(center_points_cur_frame) # print("PREV FRAME ：") # print(center_points_prev_frame) cv2.imshow("Frame", frame) # 显示帧 # Make a copy of the points center_points_prev_frame = center_points_cur_frame.copy() key = cv2.waitKey(0) # 1:每帧延迟1ms 0:保持当前帧不动 if key == 27: # 注：ESC键 break cap.release() # 释放视频文件 cv2.destroyAllWindows() # 关闭所有窗口 print("通过属性获取的视频帧数 ：", frames) print("实际遍历整个视频的帧数 ：", count-1)
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
- 71
- 72
- 73
- 74
- 75
- 76
- 77
- 78
- 79
- 80
- 81
- 82
- 83
- 84
- 85
- 86
- 87
- 88
- 89
- 90
- 91
- 92
- 93
- 94
- 95
- 96
- 97
- 98
- 99
- 100
- 101
- 102
- 103
- 104
- 105
- 106
- 107
- 108
- 109
- 110
- 111
- 112
- 113
- 114
- 115
- 116
- 117
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/羊村懒王/article/detail/78477
推荐阅读
相关标签
