devbox
weixin_40725706
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

基于yolov5的目标检测和双目测距_yolov5 双目测距

作者：weixin_40725706 | 2024-03-16 16:23:27

赞

踩

yolov5 双目测距

目录

一.简介

1.双目视觉

2 YOLOv5

二.双目准备

1双目矫正

2.测距部分代码和函数

三.yolov5部分代码代码展示

效果展示

一.简介

1.双目视觉

双目视觉是通过两个摄像机同时拍摄同一场景，通过计算两幅图像的差异来获取深度信息的一种计算机视觉技术。在双目视觉中，两个摄像机的成像位置和角度是预先确定的，它们之间的距离被称为基线，通过计算两个相机拍摄的图像中对应像素点的视差，可以计算出每个像素点的深度。

双目视觉的主要优势在于其可以通过将两个视角的信息进行比较，来消除图像中的噪声和误差，从而获得更准确的深度信息。此外，在近距离测量和物体检测等领域中都有广泛的应用。

双目视觉的基本流程包括以下几个步骤：

  1. 相机标定：确定相机的内外参数，包括焦距、畸变系数、旋转和平移矩阵等，以及两个摄像机之间的基线长度和相对位置关系。

  2. 图像获取：使用两个摄像机同时拍摄同一个场景，获取两幅图像。

  3. 特征提取：从两幅图像中提取特征点或者特征区域，例如SIFT或SURF算法，生成特征点集合。

  4. 特征匹配：通过比较两个图像中的特征点集合，找出相同的特征，建立对应关系。

  5. 视差计算：根据特征点间的视差大小，结合相机标定参数，计算出每个像素点的深度值。

  6. 深度图生成：将深度信息转换为灰度图像，生成深度图。

虽然双目视觉技术能够提供准确的深度信息，并可以运用在机器人导航、三维重建等领域，但是该技术还面临一些挑战，例如光照变化、遮挡和反射等问题，这些问题可能会影响特征提取和匹配，从而影响深度信息的准确性。

2 YOLOv5

YOLOv5是一种目标检测算法，由美国加州大学伯克利分校的研究团队开发。与其前身YOLOv4相比，YOLOv5在速度和检测精度方面有了非常显著的提升。

YOLOv5的全称是You Only Look Once version 5，意为“你只需要看一次”即可完成目标检测任务。它采用深度神经网络架构，在单张图像上进行物体检测，可以同时检测出多个物体，并得到它们的位置、类别和置信度等信息，具有高效、准确的特点。

YOLOv5的主要优势包括：

1. 高速度：相较于其前身YOLOv4，YOLOv5平均检测速度提高了65%，同时还具有更小的模型尺寸和更少的计算量。

2. 高检测精度：通过采用新的网络架构和数据增强技术，YOLOv5在检测精度方面取得了突破性的进展。

3. 简单易用：相对于其他目标检测算法，YOLOv5的代码量较小，易于实现和调试，能够应用于多种不同的应用场景。

目前，YOLOv5已经被广泛应用于自动驾驶、智能安防、工业自动化等领域，在实时物体检测和跟踪任务中具有广泛的应用前景。

二.双目准备

原理参考：双目标定之张正友标定法数学原理详解matlab版-CSDN博客

棋盘格图片自提

链接：https://pan.baidu.com/s/1W31fTtr6db8qgTevulWeMA 
提取码：ybca

二.双目准备

1双目矫正

打开Matlab 上方的工具栏APP，找到图像处理和计算机视觉下的Stereo Camera Calibration工具，打开并将分割后的图片导入

 设置参数，对于一般的相机选择2 Coefficients选项即可，对于大视场相机则选择3 Coefficients选项。拉线删除误差较大的画面：

获取参数

在matlab控制台分别输入 stereoParams.CameraParameters1.IntrinsicMatrix 和stereoParams.CameraParameters2.IntrinsicMatrix 获得左右相机的参数，下边填写时请注意进行矩阵的转置

为了获取左相机的畸变系数:[k1, k2, p1, p2, k3]，我们需要分别输入stereoParams.CameraParameters1.RadialDistortion 和 stereoParams.CameraParameters1.TangentialDistortion

分别输入 stereoParams.RotationOfCamera2 和 stereoParams 来获取双目的旋转矩阵和平移矩阵

将以上参数填写进stereoconfig.py文件里，注意转置

  1. import numpy as np
  2.  
  3. # 双目相机参数
  4. class stereoCamera(object):
  5.     def __init__(self):
  6.         # 左相机内参
  7.         self.cam_matrix_left = np.array([   [479.6018,   -0.0769,  652.6060],
  8.                                             [       0,  478.0229,  352.3870],
  9.                                             [       0,         0,         1]
  10.                                         ])
  11.         # 右相机内参
  12.         self.cam_matrix_right = np.array([  [489.9354,   0.2789,  641.6219],
  13.                                             [       0,  487.9356,  354.5612],
  14.                                             [       0,         0,         1]
  15.                                         ])
  16.  
  17.         # 左右相机畸变系数:[k1, k2, p1, p2, k3]
  18.         self.distortion_l = np.array([[-0.0791, 0.0309, -0.0009, -0.0004, -0.0091]])
  19.         self.distortion_r = np.array([[-0.1153, 0.1021, -0.0011,  -0.0005,  -0.0459]])
  20.  
  21.         # 旋转矩阵
  22.         self.R = np.array([ [1.0000,  0.0005, -0.0184],
  23.                             [-0.0005,  1.0000, 0.0001],
  24.                             [ 0.0184,  -0.0001,  1.0000]   
  25.                             ])
  26.         # 平移矩阵
  27.         self.T = np.array([[121.4655], [0.2118], [0.5950]])
  28.         # 焦距
  29.         self.focal_length = 749.402 # 默认值，一般取立体校正后的重投影矩阵Q中的 Q[2,3]
  30.         # 基线距离
  31.         self.baseline = 121.4655 # 单位：mm， 为平移向量的第一个参数（取绝对值）

2.测距部分代码和函数

  1. import sys
  2. import cv2
  3. import numpy as np
  4. import stereoconfig
  5.  
  6.  
  7. # 预处理
  8. def preprocess(img1, img2):
  9.     # 彩色图->灰度图
  10.     if (img1.ndim == 3):  # 判断是否为三维数组
  11.         img1 = cv2.cvtColor(img1, cv2.COLOR_BGR2GRAY)  # 通过OpenCV加载的图像通道顺序是BGR
  12.     if (img2.ndim == 3):
  13.         img2 = cv2.cvtColor(img2, cv2.COLOR_BGR2GRAY)
  14.  
  15.     # 直方图均衡
  16.     img1 = cv2.equalizeHist(img1)
  17.     img2 = cv2.equalizeHist(img2)
  18.  
  19.     return img1, img2
  20.  
  21.  
  22. # 消除畸变
  23. def undistortion(image, camera_matrix, dist_coeff):
  24.     undistortion_image = cv2.undistort(image, camera_matrix, dist_coeff)
  25.  
  26.     return undistortion_image
  27.  
  28.  
  29. # 获取畸变校正和立体校正的映射变换矩阵、重投影矩阵
  30. # @param：config是一个类，存储着双目标定的参数:config = stereoconfig.stereoCamera()
  31. def getRectifyTransform(height, width, config):
  32.     # 读取内参和外参
  33.     left_K = config.cam_matrix_left
  34.     right_K = config.cam_matrix_right
  35.     left_distortion = config.distortion_l
  36.     right_distortion = config.distortion_r
  37.     R = config.R
  38.     T = config.T
  39.  
  40.     # 计算校正变换
  41.     R1, R2, P1, P2, Q, roi1, roi2 = cv2.stereoRectify(left_K, left_distortion, right_K, right_distortion,
  42.                                                       (width, height), R, T, alpha=0)
  43.  
  44.     map1x, map1y = cv2.initUndistortRectifyMap(left_K, left_distortion, R1, P1, (width, height), cv2.CV_32FC1)
  45.     map2x, map2y = cv2.initUndistortRectifyMap(right_K, right_distortion, R2, P2, (width, height), cv2.CV_32FC1)
  46.  
  47.     return map1x, map1y, map2x, map2y, Q
  48.  
  49.  
  50. # 畸变校正和立体校正
  51. def rectifyImage(image1, image2, map1x, map1y, map2x, map2y):
  52.     rectifyed_img1 = cv2.remap(image1, map1x, map1y, cv2.INTER_AREA)
  53.     rectifyed_img2 = cv2.remap(image2, map2x, map2y, cv2.INTER_AREA)
  54.  
  55.     return rectifyed_img1, rectifyed_img2
  56.  
  57.  
  58. # 立体校正检验----画线
  59. def draw_line(image1, image2):
  60.     # 建立输出图像
  61.     height = max(image1.shape[0], image2.shape[0])
  62.     width = image1.shape[1] + image2.shape[1]
  63.  
  64.     output = np.zeros((height, width, 3), dtype=np.uint8)
  65.     output[0:image1.shape[0], 0:image1.shape[1]] = image1
  66.     output[0:image2.shape[0], image1.shape[1]:] = image2
  67.  
  68.     # 绘制等间距平行线
  69.     line_interval = 50  # 直线间隔：50
  70.     for k in range(height // line_interval):
  71.         cv2.line(output, (0, line_interval * (k + 1)), (2 * width, line_interval * (k + 1)), (0, 255, 0), thickness=2,
  72.                  lineType=cv2.LINE_AA)
  73.  
  74.     return output
  75.  
  76.  
  77. # 视差计算
  78. def stereoMatchSGBM(left_image, right_image, down_scale=False):
  79.     # SGBM匹配参数设置
  80.     if left_image.ndim == 2:
  81.         img_channels = 1
  82.     else:
  83.         img_channels = 3
  84.     blockSize = 3
  85.     paraml = {'minDisparity': 0,
  86.               'numDisparities': 64,
  87.               'blockSize': blockSize,
  88.               'P1': 8 * img_channels * blockSize ** 2,
  89.               'P2': 32 * img_channels * blockSize ** 2,
  90.               'disp12MaxDiff': 1,
  91.               'preFilterCap': 63,
  92.               'uniquenessRatio': 15,
  93.               'speckleWindowSize': 100,
  94.               'speckleRange': 1,
  95.               'mode': cv2.STEREO_SGBM_MODE_SGBM_3WAY
  96.               }
  97.  
  98.     # 构建SGBM对象
  99.     left_matcher = cv2.StereoSGBM_create(**paraml)
  100.     paramr = paraml
  101.     paramr['minDisparity'] = -paraml['numDisparities']
  102.     right_matcher = cv2.StereoSGBM_create(**paramr)
  103.  
  104.     # 计算视差图
  105.     size = (left_image.shape[1], left_image.shape[0])
  106.     if down_scale == False:
  107.         disparity_left = left_matcher.compute(left_image, right_image)
  108.         disparity_right = right_matcher.compute(right_image, left_image)
  109.     else:
  110.         left_image_down = cv2.pyrDown(left_image)
  111.         right_image_down = cv2.pyrDown(right_image)
  112.         factor = left_image.shape[1] / left_image_down.shape[1]
  113.  
  114.         disparity_left_half = left_matcher.compute(left_image_down, right_image_down)
  115.         disparity_right_half = right_matcher.compute(right_image_down, left_image_down)
  116.         disparity_left = cv2.resize(disparity_left_half, size, interpolation=cv2.INTER_AREA)
  117.         disparity_right = cv2.resize(disparity_right_half, size, interpolation=cv2.INTER_AREA)
  118.         disparity_left = factor * disparity_left
  119.         disparity_right = factor * disparity_right
  120.  
  121.     # 真实视差（因为SGBM算法得到的视差是×16的）
  122.     trueDisp_left = disparity_left.astype(np.float32) / 16.
  123.     trueDisp_right = disparity_right.astype(np.float32) / 16.
  124.  
  125.     return trueDisp_left, trueDisp_right
  126.  
  127.  
  128. def getDepthMapWithQ(disparityMap: np.ndarray, Q: np.ndarray) -> np.ndarray:
  129.     points_3d = cv2.reprojectImageTo3D(disparityMap, Q)  # points_3d 是一个三维的数组，前面两个是宽和高，第三维是一个（x，y，z）的坐标
  130.     points = points_3d[:, :, 0:3]
  131.  
  132.     depthMap = points_3d[:, :, 2]  # 索引三维数组的最后一维，就是深度信息
  133.     reset_index = np.where(np.logical_or(depthMap < 0.0, depthMap > 65535.0))
  134.     depthMap[reset_index] = 0
  135.  
  136.     return depthMap.astype(np.float32)
  137.  
  138.  
  139. if __name__ == '__main__':
  140.     # 读取图片
  141.     cap = cv2.VideoCapture(0)
  142.     cap.set(3, 1280)
  143.     cap.set(4, 480)  # 打开并设置摄像头
  144.  
  145.     while True:
  146.         ret, frame = cap.read()
  147.         iml = frame[0:480, 0:640]
  148.         imr = frame[0:480, 640:1280]  # 分割双目图像
  149.  
  150.  
  151.         if (iml is None) or (imr is None):
  152.             print("Error: Images are empty, please check your image's path!")
  153.             sys.exit(0)
  154.         height, width = iml.shape[0:2]    # 对图像进行切片操作，前面两位是高和宽
  155.  
  156.         iml_, imr_ = preprocess(iml, imr)  # 预处理，一般可以削弱光照不均的影响，不做也可以
  157.  
  158.         # 读取相机内参和外参
  159.         # 使用之前先将标定得到的内外参数填写到stereoconfig.py中的StereoCamera类中
  160.         config = stereoconfig.stereoCamera()
  161.         # print(config.cam_matrix_left)
  162.  
  163.         # 立体校正
  164.         map1x, map1y, map2x, map2y, Q = getRectifyTransform(height, width, config)  # 获取用于畸变校正和立体校正的映射矩阵以及用于计算像素空间坐标的重投影矩阵
  165.         iml_rectified, imr_rectified = rectifyImage(iml, imr, map1x, map1y, map2x, map2y)
  166.         # print(Q)
  167.  
  168.         # 绘制等间距平行线，检查立体校正的效果
  169.         line = draw_line(iml_rectified, imr_rectified)
  170.         cv2.imwrite('check_rectification.png', line)
  171.  
  172.         # 立体匹配
  173.         disp, _ = stereoMatchSGBM(iml_rectified, imr_rectified, False)  # 这里传入的是经立体校正的图像
  174.  
  175.         cv2.imwrite('disaprity.png', disp * 4)
  176.  
  177.         # fx = config.cam_matrix_left[0, 0]
  178.         # fy = fx
  179.         # cx = config.cam_matrix_left[0, 2]
  180.         # cy = config.cam_matrix_left[1, 2]
  181.  
  182.         # print(fx, fy, cx, cy)
  183.  
  184.         # 计算像素点的3D坐标（左相机坐标系下）
  185.         points_3d = cv2.reprojectImageTo3D(disp, Q)  # 参数中的Q就是由getRectifyTransform()函数得到的重投影矩阵
  186.  
  187.  
  188.  
  189.         # 设置想要检测的像素点坐标（x,y）
  190.         x = 120
  191.         y = 360
  192.         cv2.circle(iml, (x, y), 5, (0, 0, 255), -1)
  193.  
  194.         # x1 = points_3d[y, x]   # 索引 (y, x) 对应的是三维坐标 (x1, y1, z1)
  195.         # print(x1)
  196.  
  197.         print('x:', points_3d[int(y), int(x), 0], 'y:', points_3d[int(y), int(x), 1], 'z:',
  198.               points_3d[int(y), int(x), 2])  # 得出像素点的三维坐标，单位mm
  199.         print('distance:', (points_3d[int(y), int(x), 0] ** 2 + points_3d[int(y), int(x), 1] ** 2 + points_3d[
  200.             int(y), int(x), 2] ** 2) ** 0.5)  # 计算距离，单位mm
  201.  
  202.  
  203.         cv2.namedWindow("disparity", 0)
  204.         cv2.imshow("disparity", iml)
  205.         # cv2.setMouseCallback("disparity", onMouse,  0)
  206.  
  207.  
  208.         # 等待用户按键，如果按下 'q' 键或者 Esc 键，则退出循环
  209.         c = cv2.waitKey(1) & 0xFF
  210.         if c == 27 or c == ord('q'):
  211.             break
  212.  
  213.     # 释放视频对象并关闭窗口
  214.     cap.release()
  215.     cv2.destroyAllWindows()

三.yolov5部分代码代码展示

  1. # 读取相机内参和外参
  2.     config = stereoconfig_040_2.stereoCamera()
  3.     
  4.     # 立体校正
  5.     map1x, map1y, map2x, map2y, Q = getRectifyTransform(720, 1280, config)  # 获取用于畸变校正和立体校正的映射矩阵以及用于计算像素空间坐标的重投影矩阵
  6.     
  7.     for path, img, im0s, vid_cap in dataset:
  8.         img = torch.from_numpy(img).to(device)
  9.         img = img.half() if half else img.float()  # uint8 to fp16/32
  10.         img /= 255.0  # 0 - 255 to 0.0 - 1.0
  11.         if img.ndimension() == 3:
  12.             img = img.unsqueeze(0)
  13.  
  14.         # Inference
  15.         t1 = time_synchronized()
  16.         pred = model(img, augment=opt.augment)[0]
  17.  
  18.         # Apply NMS
  19.         pred = non_max_suppression(pred, opt.conf_thres, opt.iou_thres, classes=opt.classes, agnostic=opt.agnostic_nms)
  20.         t2 = time_synchronized()
  21.  
  22.         # Apply Classifier
  23.         if classify:
  24.             pred = apply_classifier(pred, modelc, img, im0s)
  25.         
  26.         
  27.  
  28.         # Process detections
  29.         for i, det in enumerate(pred):  # detections per image
  30.             if webcam:  # batch_size >= 1
  31.                 p, s, im0, frame = path[i], '%g: ' % i, im0s[i].copy(), dataset.count
  32.                 
  33.             else:
  34.                 p, s, im0, frame = path, '', im0s, getattr(dataset, 'frame', 0)
  35.  
  36.             ###############################
  37.             #stereo code
  38.             fps_set = 10 #setting the frame
  39.             if(accel_frame % fps_set == 0):
  40.                 #t3 = time.time() # stereo time start 0.510s
  41.                 #string = ''
  42.                 
  43.                 #thread = threading.Thread(target = mythread,args = ((config,im0,map1x, map1y, map2x, map2y,Q)) )
  44.                 
  45.                 thread= MyThread(stereo_threading,args = (config,im0,map1x, map1y, map2x, map2y,Q))
  46.                 thread.start()
  47.                 
  48.                 #if(accel_frame % fps_set == 0):
  49.                 #    thread.join()
  50.                 #points_3d = thread.get_result()
  51.                 print()
  52.                 print(threading.active_count())                              #获取已激活的线程数
  53.                 print(threading.enumerate())    # see the thread list，查看所有线程信息，一个<_MainThread(...)> 带多个 <Thread(...)>
  54.                 print()
  55.                 print("############## Frame is %d !##################" %accel_frame)
  56.  
  57.             
  58.  
  59.             p = Path(p)  # to Path
  60.             if webcam:
  61.                 save_stream_path = str(save_stream_dir / "stream0.mp4")  # save streams path
  62.             else:   
  63.                 save_path = str(save_dir / p.name)  # img.jpg
  64.                 txt_path = str(save_dir / 'labels' / p.stem) + ('' if dataset.mode == 'image' else f'_{frame}')  # img.txt
  65.             
  66.            
  67.             
  68.             
  69.             s += '%gx%g ' % img.shape[2:]  # print string
  70.             #print("txt_path is %s"%txt_path)
  71.             gn = torch.tensor(im0.shape)[[1, 0, 1, 0]]  # normalization gain whwh
  72.  
  73.             if len(det):
  74.                 # Rescale boxes from img_size to im0 size
  75.                 det[:, :4] = scale_coords(img.shape[2:], det[:, :4], im0.shape).round()
  76.  
  77.                 # Print results
  78.                 for c in det[:, -1].unique():
  79.                     n = (det[:, -1] == c).sum()  # detections per class
  80.                     s += f"{n} {names[int(c)]} {'s' * (n > 1)} , "  # add to string

本项目不开源，需要的私聊 ，谢谢

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/weixin_40725706/article/detail/250668
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号