目标跟踪（5）使用 Opencv 和 Python 进行对象跟踪_tracker.update

在本教程中，我们将学习如何基于 Opencv 和 Python 实现对象跟踪。

首先必须明确目标检测和目标跟踪有什么区别：

• 1.目标检测是每一帧每一帧的检测。
• 2.对象跟踪会逐帧跟踪，但会一次又一次地保留对象所在位置的历史记录

我们将首先讨论对象检测，然后讨论如何将对象跟踪应用于检测。

1.有哪些可能的应用？

可能有不同的应用，例如，计算某个区域有多少人，检查传送带上有多少物体通过，或者计算高速公路上的车辆。

当然，看过本教程后，您会很容易地想到数以千计的想法应用于现实生活或可能应用于工业。

2.我们需要什么？

在本教程中，我们将使用 3 个文件：

1. highway.mp4我们将用来统计车辆数量的高速公路视频
2. tracker.py这已经写好了，你可以简单地下载它
3. main.py主函数

3.物体检测

首先我们需要调用highway.mp4文件并创建一个mask:

cap = cv2.VideoCapture("highway.mp4")

# 来自稳定相机的物体检测
object_detector = cv2.createBackgroundSubtractorMOG2()

while True:
    ret, frame = cap.read()
   
    # 1. 物体检测
    mask = object_detector.apply(frame)
1
2
3
4
5
6
7
8
9
10

正如您在示例代码中看到的，我们还使用了 createBackgroundSubtractorMOG2 函数，该函数返回背景比率（background ratio），然后创建mask。

mask可视化结果：

但是，如您所见，图像中有很多噪点。因此，让我们通过删除所有较小的元素来改进提取，并将我们的注意力集中在大于某个面积的对象上。

     _, mask = cv2.threshold(mask, 254, 255, cv2.THRESH_BINARY)
    contours, _ = cv2.findContours(mask, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)
    for cnt in contours:
        # 计算面积，去除小元素
        area = cv2.contourArea(cnt)
        if area > 100:
        # 显示
1
2
3
4
5
6
7

使用 OpenCV 的cv2.drawContours函数绘制轮廓，我们得到了这个结果。

4.我们定义一个感兴趣的区域

就本教程而言，分析整个窗口并不重要。我们只对计算在某个点通过的所有车辆感兴趣，因此，我们必须定义一个感兴趣的区域 ROI 并仅在该区域应用mask。

while True:
    ret, frame = cap.read()
    height, width, _ = frame.shape

    # 提取感兴趣区域
    roi = frame[340: 720,500: 800]

    # 1. 物体检测
    mask = object_detector.apply(roi)
    _, mask = cv2.threshold(mask, 254, 255, cv2.THRESH_BINARY)
    contours, _ = cv2.findContours(mask, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)
   
    for cnt in contours:
        # 计算面积并去除小元素
        area = cv2.contourArea(cnt)
        if area > 100:
            cv2.drawContours(roi, [cnt], -1, (0, 255, 0), 2)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

结果可视化如下：

函数 cv2.createBackgroundSubtractorMOG2 是在开始时添加的，没有定义参数，现在让我们看看如何进一步改进我们的结果。history是第一个参数，在这种情况下，它设置为 100，因为相机是固定的。varThreshold改为 40，因为该值越低，误报的可能性就越大。在这种情况下，我们只对较大的对象感兴趣。

# 来自稳定相机的物体检测
object_detector = cv2.createBackgroundSubtractorMOG2(history=100, varThreshold=40)
1
2

5.在对象周围画出方框

在继续处理矩形之前，我们对图像进行了进一步的清理。为此，阈值函数就派上用场了。从我们的mask开始，我们告诉它我们只想显示白色或黑色值，因此通过编写254, 255，只会考虑 254 和 255 之间的值。

_, mask = cv2.threshold(mask, 254, 255, cv2.THRESH_BINARY)
1

然后我们将找到的对象的坐标插入到 if 条件中并绘制矩形

   x, y, w, h = cv2.boundingRect(cnt)
   cv2.rectangle(roi, (x, y), (x + w, y + h), (0, 255, 0), 3)
1
2

这是最终结果：

6.对象追踪

我们现在只需导入和集成跟踪功能。

from tracker import *

# Create tracker object
tracker = EuclideanDistTracker()
1
2
3
4

一旦创建了对象，我们必须获取边界框的每个位置并将它们插入到单个数组中。

 detections.append([x, y, w, h])
1

通过在屏幕上显示结果，您可以看到所有通过 ROI 的通道是如何被识别的，以及它们的位置是如何插入到特定的数组中的。显然，识别的摩托车越多，我们的数组就越大。

7.将唯一 ID 关联到对象

现在让我们将带有位置的数组传递给tracker.update()。我们将再次获得一个包含位置的数组，但此外，将为每个对象分配一个唯一的 ID。
从代码中可以看出，我们可以使用 for 循环分析所有内容。此时我们只需要绘制矩形并显示车辆 ID。

    # 2. 目标跟踪
    boxes_ids = tracker.update(detections)
    for box_id in boxes_ids:
        x, y, w, h, id = box_id
        cv2.putText(roi, str(id), (x, y - 15), cv2.FONT_HERSHEY_PLAIN, 2, (255, 0, 0), 2)
        cv2.rectangle(roi, (x, y), (x + w, y + h), (0, 255, 0), 3)
1
2
3
4
5
6

在图像中，您可以看到结果

8.完整代码

tracker.py

import math


class EuclideanDistTracker:
    def __init__(self):
        # 存储对象的中心位置
        self.center_points = {}
        # 保持id的计数
        # 每次检测到新的对象 id 时，计数将增加 1
        self.id_count = 0


    def update(self, objects_rect):
        # 对象框和 ID
        objects_bbs_ids = []

        # 获取新对象的中心点
        for rect in objects_rect:
            x, y, w, h = rect
            cx = (x + x + w) // 2
            cy = (y + y + h) // 2

            # 查明是否已经检测到该对象
            same_object_detected = False
            for id, pt in self.center_points.items():
            	# 计算中心点之间的欧式距离
                dist = math.hypot(cx - pt[0], cy - pt[1])
				# 如果欧氏距离小于25即表明是相同的目标
                if dist < 25:
                    self.center_points[id] = (cx, cy)
                    print(self.center_points)
                    objects_bbs_ids.append([x, y, w, h, id])
                    same_object_detected = True
                    break

            # 检测到新对象，我们将 ID 分配给该对象
            if same_object_detected is False:
                self.center_points[self.id_count] = (cx, cy)
                objects_bbs_ids.append([x, y, w, h, self.id_count])
                self.id_count += 1

        # 按中心点清理字典以删除不再使用的 IDS
        new_center_points = {}
        for obj_bb_id in objects_bbs_ids:
            _, _, _, _, object_id = obj_bb_id
            center = self.center_points[object_id]
            new_center_points[object_id] = center

        # 更新字典
        self.center_points = new_center_points.copy()
        return objects_bbs_ids
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51

main.py

import cv2
from tracker import *

# 创建跟踪器对象
tracker = EuclideanDistTracker()

cap = cv2.VideoCapture("highway.mp4")

# 来自稳定相机的物体检测
object_detector = cv2.createBackgroundSubtractorMOG2(history=100, varThreshold=40)

while True:
    ret, frame = cap.read()
    height, width, _ = frame.shape

    # 提取感兴趣区域
    roi = frame[340: 720,500: 800]

    # 1. 物体检测
    mask = object_detector.apply(roi)
    _, mask = cv2.threshold(mask, 254, 255, cv2.THRESH_BINARY)
    contours, _ = cv2.findContours(mask, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)
    detections = []
    for cnt in contours:
        # 计算面积并去除小元素
        area = cv2.contourArea(cnt)
        if area > 100:
            #cv2.drawContours(roi, [cnt], -1, (0, 255, 0), 2)
            x, y, w, h = cv2.boundingRect(cnt)
            detections.append([x, y, w, h])

    # 2. 对象追踪
    boxes_ids = tracker.update(detections)
    for box_id in boxes_ids:
        x, y, w, h, id = box_id
        cv2.putText(roi, str(id), (x, y - 15), cv2.FONT_HERSHEY_PLAIN, 2, (255, 0, 0), 2)
        cv2.rectangle(roi, (x, y), (x + w, y + h), (0, 255, 0), 3)

    cv2.imshow("roi", roi)
    cv2.imshow("Frame", frame)
    cv2.imshow("Mask", mask)

    key = cv2.waitKey(30)
    if key == 27:
        break

cap.release()
cv2.destroyAllWindows()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48

结论

从视频中也可以看到，我们已经获得了我们在本教程开始时设置的结果。

但是，您必须将其视为练习或起点，因为关于这个主题有很多话要说，而本教程的目的只是让您了解对象跟踪的原理。

如果你想将 Object Tracking 集成到你的项目中，你应该使用更可靠和先进的对象检测方法，以及跟踪方法。

完整代码地址：
链接：https://pan.baidu.com/s/1smt4hwD8Zi8dN977gLjYhA
提取码：123a

参考目录

https://pysource.com/2021/01/28/object-tracking-with-opencv-and-python/