当前位置:   article > 正文

图像处理之opencv库使用小结_opencv模型库

opencv模型库

        OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉库,可以运行在Linux、Windows、Android和Mac OS操作系统上。它轻量级而且高效——由一系列 C 函数和少量 C++ 类构成,同时提供了Python、Ruby、MATLAB等语言的接口,实现了图像处理和计算机视觉方面的很多通用算法(百度定义)。只要你接触到图像处理这块,肯定会用到这个库,详情可查看https://opencv.org/,至于下载使用的话,在windows下可以借助vs+OpenCV来实现,而在linux下直接pip install python-opencv即可。本文在这里就常用的一些操作结合自己日常的使用进行如下总结:

(1)基本操作(读取、保存、滤波、resize等常见操作)

       在日常的使用过程中,我们对图像最基本的操作包括,读取,裁剪,改变大小、滤波,保存修改等操作,具体操作代码如下:

  1. import os
  2. import cv2
  3. img=cv2.imread("path1",-1) ###path1表示读取图片路径,第二个参数默认以RGB读取,0是灰度图,-1是以原始数据类型读取
  4. img2=cv2.resize(img,(400,400)) ###改变大小
  5. img3=img[50:300,50:300] ###crop小图
  6. cv2.rectangle(img,(0,0),(100,100),(255,0,0),2) ###图上画框
  7. cv2.putText(img,"panda",(100,200),cv2.FONT_HERSHEY_SIMPLEX,2,(0,255,0), 3) ###图上加文字标签 参数(图片,添加的文字,左上角坐标,字体,字体大小,颜色,字体粗细)
  8. img4=cv2.blur(img,(3,3)) ###均值滤波(blur),方框滤波(boxfilter),高斯滤波(Guassianblur),中值滤波(.medianBlur)
  9. cv2.imwrite("dst.jpg",img) ##保存图片
  10. cv2.imshow("1",img) ##显示图片
  11. cv2.waitKey()

注意:

  • 图片格式

由于利用cv2.imread()读取图片时,读取的顺序的GBR,这和常见的RGB有点区别,有时候会出现图像颜色变绿等情况,与Image.open()方式不同,这时候需要将图像的通道顺序进行调整即可,常见的操作为img=img.transpose((2,0,1))或img=img[...,-1::-1]。

  • 图像金字塔

图像金字塔指的是通过对图像进行放大缩小形成一序列的图像,如下图所示,堆叠起来像一座金字塔,Opencv中可以通过函数cv2.pyrDown()和cv2.pyrUp()来构建金字塔,常用来实现对多尺度目标的检测。

  1. 画直线:line
  2. 画椭圆:ellipse
  3. 画矩形:rectangle
  4. 画圆:circle
  5. 画多边形:polylines
  6. 填充的多边形:fillPoly
  1. #创建一个图像,300×400大小,数据类型无符号8
  2. img=np.zeros((300,400,3),np.uint8)
  3. cv2.line(img,(10,10),(200,200),(0,255,0),3)#绿色,3个像素宽度
  4. cv2.rectangle(img,(10,10),(30,40),(134,2,34),1) ##画矩形
  5. cv2.circle(img,(60,60),30,(0,0,213),-1) ##画圆形
  6. cv2.ellipse(img,(256,256),(100,50),0,0,180,(20,213,79),-1) #线型-1表示填充,椭圆
  7. #####多边形
  8. import numpy as np
  9. pts=np.array([[10,3],[48,19],[60,3],[98,19]],np.int32) #数据类型必须是int32
  10. pts=pts.reshape((-1,1,2))
  11. '''这里 reshape 的第一个参数为-1, 表明这一维的长度是根据后面的维度的计算出来的。
  12. 如果第三个参数是 False,我们得到的多边形是不闭合的(首尾不相连)。
  13. '''
  14. cv2.polylines(img,[pts],True,(0,0,255),1) # 图像,点集,是否闭合,颜色,线条粗细

绘制多边形

  1. import cv2
  2. import numpy as np
  3. pts = [] # 用于存放点
  4. # 统一的:mouse callback function
  5. def on_mouse(event, x, y, flags, param):
  6. img2 = img.copy()
  7. if event == cv2.EVENT_LBUTTONDOWN: # 左键点击,选择点
  8. pts.append((x, y))
  9. if event == cv2.EVENT_RBUTTONDOWN: # 右键点击,取消最近一次选择的点
  10. pts.pop()
  11. if event == cv2.EVENT_RBUTTONDBLCLK: # 右键双击绘制轮廓
  12. mask = np.zeros(img.shape, np.uint8)#掩膜
  13. points = np.array(pts, np.int32)
  14. points = points.reshape((-1, 1, 2))
  15. # 画多边形
  16. mask = cv2.polylines(mask, [points], True, (255, 255, 255), 2)
  17. mask2 = cv2.fillPoly(mask.copy(), [points], (255, 255, 255)) # 用于求 ROI
  18. mask3 = cv2.fillPoly(mask.copy(), [points], (200, 255, 0)) # 用于 显示在桌面的图像
  19. show_image = cv2.addWeighted(src1=img, alpha=0.8, src2=mask3, beta=0.2, gamma=0)
  20. #cv2.imshow("mask", mask2)
  21. cv2.imshow("show_img3", show_image)
  22. ROI = cv2.bitwise_and(mask2, img)
  23. cv2.imshow("ROI", ROI)
  24. cv2.waitKey(0)
  25. if len(pts) > 0:
  26. # 将pts中的最后一点画出来
  27. cv2.circle(img2, pts[-1], 3, (0, 0, 255), -1)
  28. if len(pts) > 1:
  29. # 画线
  30. for i in range(len(pts) - 1):
  31. cv2.circle(img2, pts[i], 5, (0, 0, 255), -1) # x ,y 为鼠标点击地方的坐标
  32. cv2.line(img=img2, pt1=pts[i], pt2=pts[i + 1], color=(255, 0, 0), thickness=2)
  33. cv2.imshow('image', img2)
  34. # 创建图像与窗口并将窗口与回调函数绑定
  35. img = cv2.imread("2.jpg")
  36. cv2.namedWindow('image')
  37. cv2.setMouseCallback('image', on_mouse)
  38. print("[INFO] 单击左键:选择点,单击右键:删除上一次选择的点,双击右键:确定ROI区域")
  39. print("[INFO] 按 ESC 退出")
  40. cv2.waitKey()
  41. cv2.destroyAllWindows()
  • puttext无法显示中文问题

       由于opencv对中文的支持并不友好,所以想在图上显示中文,需要借助PIL进行一个简单的转化,具体操作,封装成如下函数,可以直接拿去使用,

  1. import numpy as np
  2. import cv2
  3. from PIL import Image,ImageDraw,ImageFont
  4. def cv2_putChineseText(image,strs,local,sizes,colour):
  5. '''
  6. Args:
  7. image:BGR image
  8. strs: 中文字符
  9. local: 位置信息
  10. sizes: 字体大小
  11. colour: 字体颜色
  12. Returns: 返回BGR图像
  13. '''
  14. cv2img = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
  15. pilimg = Image.fromarray(cv2img)
  16. draw = ImageDraw.Draw(pilimg) # 图片上打印
  17. font = ImageFont.truetype("SIMYOU.TTF",sizes, encoding="utf-8")
  18. draw.text(local, strs, colour, font=font)
  19. image = cv2.cvtColor(np.array(pilimg), cv2.COLOR_RGB2BGR)
  20. return image

至于上面使用的“SIMYOU.TTF”可以在这里下载,安装可以参考链接

  • 基于像素点操作

基于python可以通过下标索引实现对图像的遍历处理

  1. import cv2 as cv
  2. import numpy as np
  3. def image_pixel(image_path: str):
  4. img = cv.imread(image_path, cv.IMREAD_COLOR)
  5. cv.imshow('input', img)
  6. h, w, c = img.shape
  7. # 遍历像素点,修改图像b,g,r值
  8. for row in range(h):
  9. for col in range(w):
  10. b, g, r = img[row, col]
  11. # img[row, col] = (255 - b, 255 - g, 255 - r)
  12. # img[row, col] = (255 - b, g, r)
  13. # img[row, col] = (255 - b, g, 255 - r)
  14. img[row, col] = (0, g, r)
  15. cv.imshow('result', img)
  16. cv.imwrite('images/result.jpg', img)
  17. cv.waitKey(0)
  18. cv.destroyAllWindows()

如果是c++还可以通过指针实现

  1. void OpencvExample::Example_PixelOperation(Mat &image)
  2. {
  3. int channel = image.channels();
  4. int h = image.rows;
  5. int w = image.cols;
  6. cout <<"height:" <<h <<","<< "width:"<<w << endl;
  7. /* 以数组方式 */
  8. #if 0
  9. for (int row = 0; row < h; row++)
  10. {
  11. for (int col = 0; col < w; col++)
  12. {
  13. /* 单通道图像 */
  14. if (1 == channel)
  15. {
  16. image.at<uchar>(row, col) = 255 - image.at<uchar>(row, col); //该点像素值取反
  17. }
  18. /* 三通道图像 */
  19. if (3 == channel)
  20. {
  21. Vec3b bgr = image.at<Vec3b>(row, col);
  22. image.at<Vec3b>(row, col)[0] = 255 - bgr[0];
  23. image.at<Vec3b>(row, col)[1] = 255 - bgr[1];
  24. image.at<Vec3b>(row, col)[2] = 255 - bgr[2];
  25. }
  26. }
  27. namedWindow("OUT WINDOW", WINDOW_FREERATIO);
  28. imshow("OUT WINDOW", image);
  29. }
  30. #endif
  31. /* 以指针方式 */
  32. #if 1
  33. for (int row = 0; row < h; row++)
  34. {
  35. uchar *prow = image.ptr<uchar>(row);
  36. for (int col = 0; col < w; col++)
  37. {
  38. /* 单通道图像 */
  39. if (1 == channel)
  40. {
  41. *prow++ = 255 - *prow; //该点像素值取反
  42. }
  43. /* 三通道图像 */
  44. if (3 == channel)
  45. {
  46. *prow++ = 255 - *prow;
  47. *prow++ = 255 - *prow;
  48. *prow++ = 255 - *prow;
  49. }
  50. }
  51. namedWindow("OUT WINDOW", WINDOW_FREERATIO);
  52. imshow("OUT WINDOW", image);
  53. }
  54. #endif
  55. }

(2) 阈值化

       阈值化,即设定阈值,根据是否满足阈值条件分别进行不同的处理,常见的就是对图像进行二值化,OpenCV里提供的方式有简单阈值、自适应阈值、Otsu’s二值化等几种。具体代码如下

  1. import os
  2. import cv2
  3. import matplotlib.pyplot as plt
  4. img=cv2.imread(path1,0) ###以灰度图的方式读入path1的图片
  5. plt.figure(0)
  6. plt.hist(img.ravel(),256,[0,256]) ##统计图像直方图
  7. _,dst1=cv2.threshold(img,120,255,cv2.THRESH_BINARY) ##以固定阈值进行二值化,当方法设为cv2.THRESH_OTSU即为otsu
  8. dst2=cv2.adaptiveThreshold(img,255,cv2.ADAPTIVE_THRESH_GAUSSIAN_C,cv2.THRESH_BINARY,11,2) ##自适应阈值二值化
  9. dst=[img,dst1,dst2]
  10. plt.figure(1)
  11. for i in range(3):
  12. plt.subplot(1,3,i+1),plt.imshow(dst[i],'gray')
  13. plt.show()

效果图如下所示,依次是原图灰度图,固定阈值,自适应阈值,OTSU效果图:

(3)形态学处理

        膨胀、腐蚀、开运算和闭运算是数学形态学的四个基本运算,是针对二值化图像进行的,常见于mask的使用之中。基于这些运算还可推导和组合成各种数学形态学实用算法,用它们可以进行图像形状和结构的分析和处理,包括图像分割、特征提取、边缘检测、图像滤波、图像增强和恢复等。

  • 腐蚀:腐蚀会把物体的边界腐蚀掉,卷积核沿着图象滑动,如果卷积核对应的原图的所有像素值为1,那么中心元素就保持原来的值,否则变为零。主要应用在去除白噪声,也可以断开连在一起的物体。
  • 膨胀:卷积核所对应的原图像的像素值只要有一个是1,中心像素值就是1。一般在除噪是,先腐蚀再膨胀,因为腐蚀在去除白噪声的时候也会使图像缩小,所以我们之后要进行膨胀。当然也可以用来将两者物体分开。
  • 开运算:先腐蚀后膨胀,用于移除由图像噪音形成的斑点。
  • 闭运算:先膨胀后腐蚀,用来连接被误分为许多小块的对象;

具体操作代码如下:

  1. import cv2
  2. src=cv2.imread("1.jpg",0)
  3. _,img=cv2.threshold(src,120,255,cv2.THRESH_BINARY)
  4. #OpenCV定义的结构矩形元素
  5. kernel = cv2.getStructuringElement(cv2.MORPH_RECT,(3, 3))
  6. eroded = cv2.erode(img,kernel) #腐蚀图像
  7. dilated = cv2.dilate(img,kernel) #膨胀图像
  8. closed1 = cv2.morphologyEx(img, cv2.MORPH_CLOSE, kernel,iterations=1) #闭运算1
  9. closed2 = cv2.morphologyEx(img, cv2.MORPH_CLOSE, kernel,iterations=3) #闭运算2
  10. opened1 = cv2.morphologyEx(img, cv2.MORPH_OPEN, kernel,iterations=1) #开运算1
  11. opened2 = cv2.morphologyEx(img, cv2.MORPH_OPEN, kernel,iterations=3) #开运算2
  12. gradient = cv2.morphologyEx(img, cv2.MORPH_GRADIENT, kernel) #梯度
  13. plt.figure()
  14. dst=[img,eroded,dilated,closed1,closed2,opened1,opened2,gradient]
  15. for i in range(len(dst)):
  16. plt.subplot(2,4,i+1)
  17. plt.imshow(dst[i],'gray')
  18. plt.show()

具体效果图如下

(4)图像变换检测

边缘检测:

      想要提取图像物体边缘信息,OpenCV提供了封装的边缘提取算子,常见的有canny算子,sobel算子,Laplacian算子,scharr滤波器等。

  1. import cv2
  2. img=cv2.imread("1.jpg")
  3. dst1=cv2.Canny(img,100,200) ##canny方法
  4. sobelx=cv2.Sobel(img,cv2.CV_64F,1,0,ksize=3) ##水平方向梯度
  5. sobely=cv2.Sobel(img,cv2.CV_64F,0,1,ksize=3) ##垂直方向梯度
  6. dst2=cv2.Laplacian(img,cv2.CV_64F) ##laplacian方法
  7. scharrx=cv2.Scharr(o,cv2.CV_64F,1,0)
  8. scharrx=cv2.convertScaleAbs(scharrx) ##水平方向梯度
  9. scharry=cv2.Scharr(o,cv2.CV_64F,0,1)
  10. scharry=cv2.convertScaleAbs(scharry) ##垂直方向梯度
  11. scharrxy=cv2.addWeighted(scharrx,0.5,scharry,0.5,0) ###融合水平和垂直方向信息

直线(圆)检测:

        在数字图像中,往往存在着一些特殊形状的几何图形,像检测马路边一条直线,检测人眼的圆形等等,有时我们需要把这些特定图形检测出来,hough变换就是这样一种检测的工具。

  1. import cv2
  2. import numpy as np
  3. import matplotlib.pyplot as plt
  4. img = cv2.imread('room.jpg')
  5. gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)#灰度图像
  6. edges = cv2.Canny(gray,50,200)
  7. plt.subplot(121),plt.imshow(edges,'gray')
  8. plt.xticks([]),plt.yticks([])
  9. #hough transform
  10. lines = cv2.HoughLinesP(edges,1,np.pi/180,30,minLineLength=60,maxLineGap=10)
  11. lines1 = lines[:,0,:]#提取为二维
  12. for x1,y1,x2,y2 in lines1[:]:
  13. cv2.line(img,(x1,y1),(x2,y2),(255,0,0),1)
  14. plt.subplot(122),plt.imshow(img,)
  15. plt.xticks([]),plt.yticks([])

效果图,

è¿éåå¾çæè¿°

轮廓检测:

      将图像上的目标的轮廓用点将其描绘出来就是轮廓检测,在OpenCV里提供了findContours来实现这一功能。为获得更好的准确性,请使用二值图,在找到轮廓之前,应用阈值法或canny边缘检测。具体操作如下:

  1. # 轮廓检测
  2. import cv2
  3. import numpy as np
  4. img = np.zeros((200, 200), dtype=np.uint8)
  5. img[50:150, 50:150] = 200
  6. cv2.imshow("before", img)
  7. ret, thresh = cv2.threshold(img, 127, 255, cv2.THRESH_BINARY)
  8. cv2.imshow("thresh", thresh)
  9. image, contours, hierarchy = cv2.findContours(thresh, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE) ###找到轮廓
  10. color = cv2.cvtColor(thresh, cv2.COLOR_GRAY2BGR)
  11. cv2.drawContours(color, contours, -1, (0, 255, 0), 2) ##画出轮廓
  12. cv2.imshow("contours", color)
  13. # 寻找物体的凸包并绘制凸包的轮廓
  14. for cnt in contours:
  15. hull = cv2.convexHull(cnt)
  16. length = len(hull)
  17. # 如果凸包点集中的点个数大于5
  18. if length > 5:
  19. # 绘制图像凸包的轮廓
  20. for i in range(length):
  21. cv2.line(dd, tuple(hull[i][0]), tuple(hull[(i+1)%length][0]), (0,0,255), 2)
  22. plt.figure()
  23. plt.imshow(dd)
  24. plt.show()
  25. cv2.waitKey()
  26. cv2.destroyAllWindows()

(5)特征点检测与匹配

        特征点又称兴趣点、关键点,它是在图像中突出且具有代表意义的一些点,通过这些点我们可以用来识别图像、进行图像配准、进行3D重建等,OpenCV提供了几种常见的特征点提取算法,

Harris角点:角点是图像中最基本的一种关键点,它是由图像中一些几何结构的关节点构成,很多都是线条之间产生的交点。Harris角点是一类比较经典的角点类型,它的基本原理是计算图像中每点与周围点变化率的平均值。

FAST特征点:harris特征在算法复杂性上比较高,在大的复杂的目标识别或匹配应用上效率不能满足要求,OpenCV提供了一个快速检测角点的类FastFeatureDetector,而实际上FAST并不是快的意思,而是Features from Accelerated Segment Test,但这个算法效率确实比较高。

SIFT特征:也叫尺度不变特征变换算法,Sift特征是图像的局部特征 对平移、旋转、尺度缩放、亮度变化、遮挡和噪声等具有良好的不变性,对视觉变化、仿射变换也保持一定程度的稳定性。独特性好 信息量丰富,适用于在海量特征数据库中进行快速、准确的匹配。具有多量性;速度相对较快 ;可扩展性强 。

尺度不变的SURF特征:surf特征是类似于SIFT特征的一种尺度不变的特征点,它的优点在于比SIFT效率要高,在实际运算中可以达到实时性的要求。

       通过提取图像特征点,接下来可以利用特征点对两张图像进行匹配,具体操作如下:

  1. import numpy as np
  2. import cv2
  3. from matplotlib import pyplot as plt
  4. img1 = cv2.imread('xiaoyuanka.jpg',0)# queryImage
  5. img2 = cv2.imread('xiaoyuanka_sence.jpg',0) # trainImage
  6. # Initiate SIFT detector
  7. sift = cv2.xfeatures2d.SIFT_create() ###slam中用orb = cv2.ORB_create()
  8. # find the keypoints and descriptors with SIFT
  9. kp1, des1 = sift.detectAndCompute(img1,None)
  10. kp2, des2 = sift.detectAndCompute(img2,None)
  11. # FLANN parameters
  12. FLANN_INDEX_KDTREE = 0
  13. index_params = dict(algorithm = FLANN_INDEX_KDTREE, trees = 5)
  14. search_params = dict(checks=50)# or pass empty dictionary
  15. flann = cv2.FlannBasedMatcher(index_params,search_params)
  16. matches = flann.knnMatch(des1,des2,k=2)
  17. '''
  18. ####case 2
  19. # BFMatcher with default params
  20. bf = cv2.BFMatcher()
  21. matches = bf.knnMatch(des1,des2, k=2)
  22. '''
  23. # Need to draw only good matches, so create a mask
  24. matchesMask = [[0,0] for i in range(len(matches))]
  25. # ratio test as per Lowe's paper
  26. for i,(m,n) in enumerate(matches):
  27. if m.distance < 0.7*n.distance:
  28. matchesMask[i]=[1,0]
  29. draw_params = dict(matchColor = (0,255,0),
  30. singlePointColor = (255,0,0),
  31. matchesMask = matchesMask,
  32. flags = 0)
  33. img3 = cv2.drawMatchesKnn(img1,kp1,img2,kp2,matches,None,**draw_params)
  34. plt.imshow(img3),plt.show()
  35. cv2.imshow('drawMatches',img3)
  36. cv2.waitKey(0)
  37. cv2.destroyAllWindows()

匹配结果如下图

png

补:

OpenCV应用很广,在对视频处理抽帧时可以通过调用opencv的VideoCapture、imgwrite 来提取实现

  1. import cv2
  2. vc = cv2.VideoCapture('SampleVideo_1280x720_1mb.mp4') # 读入视频文件
  3. c=1
  4. if vc.isOpened(): # 判断是否正常打开
  5. rval, frame = vc.read()
  6. else:
  7. rval = False
  8. timeF = 5 # 视频帧计数间隔频率
  9. while rval:
  10. # 循环读取视频帧
  11. rval, frame = vc.read()
  12. #gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
  13. # Display the resulting frame
  14. try:
  15. cv2.imshow('frame', frame)
  16. except:
  17. pass
  18. if (c % timeF == 0): # 每隔timeF帧进行存储操作
  19. cv2.imwrite('crop/image' + str(c) + '.jpg', frame) # 存储为图像
  20. c = c + 1
  21. if cv2.waitKey(1) & 0xFF == ord('q'):
  22. break
  23. vc.release()
  24. cv2.destroyAllWindows()

至于读取多个摄像头,可以借助多线程实现,具体代码如下

  1. #!/usr/bin/python
  2. #-*-:coding:utf8-*-
  3. import cv2
  4. import time
  5. import multiprocessing as mp
  6. ###读取单个摄像头或视频
  7. def readSingleCap():
  8. cap=cv2.VideoCapture(0)
  9. while cap.isOpened():
  10. ret,frame=cap.read()
  11. cv2.imshow("hehe",frame)
  12. if cv2.waitKey(100) & 0xff==ord('q'):
  13. break
  14. cap.release()
  15. cv2.destroyAllWindows()
  16. ####读取多个摄像头或视频
  17. class readMultiCap(object):
  18. def __init__(self):
  19. self.runMultiCap()
  20. def push_frame(self,que_list,user, pwd, ip, channel=1):
  21. cap = cv2.VideoCapture("rtsp://%s:%s@%s//Streaming/Channels/%d" % (user, pwd, ip, channel))
  22. if cap.isOpened():
  23. print('HIKVISION')
  24. else:
  25. cap = cv2.VideoCapture("rtsp://%s:%s@%s/cam/realmonitor?channel=%d&subtype=0" % (user, pwd, ip, channel))
  26. print('DaHua')
  27. while True:
  28. _,frame=cap.read()
  29. que_list.put(frame)
  30. que_list.get() if que_list.qsize()>1 else time.sleep(0.01)
  31. def get_frame(self,que_list,window_name):
  32. cv2.namedWindow(window_name,flags=cv2.WINDOW_FREERATIO)
  33. while True:
  34. frame=que_list.get()
  35. cv2.imshow(window_name,frame)
  36. cv2.waitKey()
  37. def runMultiCap(self):
  38. user_name, user_pwd = "admin", "admin123456"
  39. camera_ip_l = [ # 把你的摄像头的地址放到这里,如果是ipv6,那么需要加一个中括号。
  40. "172.16.113.74", # ipv4
  41. "[fe80::3aaf:29ff:fed3:d260]", # ipv6
  42. ]
  43. mp.set_start_method(method="spawn")
  44. queues=[mp.Queue(maxsize=4) for _ in camera_ip_l]
  45. processes=[]
  46. for queue,camera_ip in zip(queues,camera_ip_l):
  47. processes.append(mp.Process(target=self.push_frame,args=(queue,camera_ip)))
  48. processes.append(mp.Process(target=self.get_frame,args=(queue,camera_ip)))
  49. for process in processes:
  50. process.daemon=True
  51. process.start()
  52. for process in processes:
  53. process.join()
  54. if __name__=="__main__":
  55. #readSingleCap()
  56. readMultiCap()

(6)OpenCV之深度学习

       作为一个常用的图像处理库,OpenCV可以嵌入到任何图像处理的场景中,当然也包括人工智能这块。这里就目标跟踪这一块进行一个小小的总结,共八种基于OpenCV的目标跟踪算法,

  • BOOSTING Tracker:和Haar cascades(AdaBoost)背后所用的机器学习算法相同,但是距其诞生已有十多年了。这一追踪器速度较慢,并且表现不好,但是作为元老还是有必要提及的。(最低支持OpenCV 3.0.0)
  • MIL Tracker:比上一个追踪器更精确,但是失败率比较高。(最低支持OpenCV 3.0.0)
  • KCF Tracker:比BOOSTING和MIL都快,但是在有遮挡的情况下表现不佳。(最低支持OpenCV 3.1.0)
  • CSRT Tracker:比KCF稍精确,但速度不如后者。(最低支持OpenCV 3.4.2)
  • MedianFlow Tracker:在报错方面表现得很好,但是对于快速跳动或快速移动的物体,模型会失效。(最低支持OpenCV 3.0.0)
  • TLD Tracker:我不确定是不是OpenCV和TLD有什么不兼容的问题,但是TLD的误报非常多,所以不推荐。(最低支持OpenCV 3.0.0)
  • MOSSE Tracker:速度真心快,但是不如CSRT和KCF的准确率那么高,如果追求速度选它准没错。(最低支持OpenCV 3.4.1)
  • GOTURN Tracker:这是OpenCV中唯一一深度学习为基础的目标检测器。它需要额外的模型才能运行,本文不详细讲解。(最低支持OpenCV 3.2.0)

       个人建议如果追求高准确度,又能忍受慢一些的速度,那么就用CSRT;如果对准确度的要求不苛刻,想追求速度,那么就选KCF;纯粹想节省时间就用MOSSE。

  1. #pip3 install opencv-contrib-python
  2. import numpy as np
  3. import cv2
  4. import sys
  5. class TRACKER(object):
  6. def __init__(self):
  7. self.trackerTypes = ['BOOSTING', 'MIL', 'KCF','TLD', 'MEDIANFLOW', 'GOTURN', 'MOSSE', 'CSRT']
  8. self.trackerNum=2
  9. self.tracker = cv2.MultiTracker_create()
  10. def createTrackerByName(self,num):
  11. # 通过跟踪器的名字创建跟踪器
  12. trackerType=self.trackerTypes[num]
  13. if trackerType == self.trackerTypes[0]:
  14. tracker = cv2.TrackerBoosting_create()
  15. elif trackerType == self.trackerTypes[1]:
  16. tracker = cv2.TrackerMIL_create()
  17. elif trackerType == self.trackerTypes[2]:
  18. tracker = cv2.TrackerKCF_create()
  19. elif trackerType == self.trackerTypes[3]:
  20. tracker = cv2.TrackerTLD_create()
  21. elif trackerType == self.trackerTypes[4]:
  22. tracker = cv2.TrackerMedianFlow_create()
  23. elif trackerType == self.trackerTypes[5]:
  24. tracker = cv2.TrackerGOTURN_create()
  25. elif trackerType == self.trackerTypes[6]:
  26. tracker = cv2.TrackerMOSSE_create()
  27. elif trackerType == self.trackerTypes[7]:
  28. tracker = cv2.TrackerCSRT_create()
  29. else:
  30. tracker = None
  31. print('Incorrect tracker name')
  32. print('Available tracker name')
  33. for t in self.trackerTypes:
  34. print(t)
  35. return tracker
  36. def add(self,image, bbox):
  37. ok = self.tracker.add(self.createTrackerByName(self.trackerNum), image, bbox)
  38. return ok
  39. def clear(self,image,bbox):
  40. print(help(self.tracker.clear))
  41. print(help(self.tracker.empty))
  42. print(dir(self.tracker))
  43. ok = self.tracker.clear()
  44. ok = self.tracker.empty()
  45. return ok
  46. def update(self,image):
  47. ok, boxes = self.tracker.update(image)
  48. return ok,boxes
  49. if __name__=="__main__":
  50. cv2.namedWindow("tracking")
  51. camera = cv2.VideoCapture("../siz.mp4")
  52. tracker = TRACKER()
  53. init_once = False
  54. ok, image=camera.read()
  55. if not ok:
  56. print('Failed to read video')
  57. exit()
  58. bbox1 = cv2.selectROI('tracking', image)
  59. bbox2 = cv2.selectROI('tracking', image)
  60. while camera.isOpened():
  61. ok, image=camera.read()
  62. if not ok:
  63. print ('no image to read')
  64. break
  65. if not init_once:
  66. ok = tracker.add( image, bbox1)
  67. ok = tracker.add( image, bbox2)
  68. init_once = True
  69. ok, boxes = tracker.update(image)
  70. print (ok, boxes)
  71. for newbox in boxes:
  72. p1 = (int(newbox[0]), int(newbox[1]))
  73. p2 = (int(newbox[0] + newbox[2]), int(newbox[1] + newbox[3]))
  74. cv2.rectangle(image, p1, p2, (255,0,0))
  75. cv2.imshow('tracking', image)
  76. k = cv2.waitKey(1)
  77. if k == 27 :
  78. break # esc pressed

 


一些最近出现的问题:

(1)有时候使用opencv出现AttributeError: module 'cv2' has no attribute 'xfeatures2d'错误,网上的说法是涉及到一些专利原因需要将opencv的版本降到3.4.2.16即可,但是我在安装3.4.2.16时,一直存在找不到的问题,将python的版本从3.9切换到3.7还是不能解决,最后尝试安装了一下如下版本,

  1. pip install opencv-python==4.6.0.66 -i https://pypi.douban.com/simple
  2. pip install opencv-contrib-python==4.7.0.68 -i https://pypi.douban.com/simple

最后这个报错消失,但是具体什么原因还是有点困惑,下次有时间再细细研究吧!

(2)有时候出现qt.qpa.plugin: Could not load the Qt platform plugin "xcb" in "/home/amax/anaconda3/lib/python3.9/site-packages/cv2/qt/plugins" even though it was found.
This application failed to start because no Qt platform plugin could be initialized. Reinstalling the application may fix this problem,网上找了很多方法好像说是opencv与pyqt之间存在一下冲突,解决方法有

  1. ####case 1
  2. pip uninstall opencv-python
  3. pip install opencv-python-headless
  4. ####case 2
  5. envpath = '/home/uto/anaconda3/lib/python3.9/site-packages/cv2/qt/plugins/platforms'
  6. os.environ['QT_QPA_PLATFORM_PLUGIN_PATH'] = envpath

      未完待续!

参考链接:

浅墨_毛星云的博客_CSDN博客-【Visual C++】游戏开发,【Visual C++】游戏开发,【Visual C++】领域博主(毛星云博客)

python-opencv2利用cv2.findContours()函数来查找检测物体的轮廓_hjxu2016的博客-CSDN博客_cv2.findcontours(利用cv2.findContours()函数来查找检测物体的轮廓)

python-opencv绘图函数(cv2.line(), cv2.circle(), cv2.rectangle(),cv2.ellipse() cv2. cv2.putText() )_音柯路德的博客-CSDN博客_cv2.line(绘图函数)

python cv2 opencv 计算 任意区域形心_rrr2的博客-CSDN博客_cv2 形心(计算任意区域形心)

https://blog.csdn.net/huayunhualuo/article/details/81478037(基于OpenCV的边缘检测)

python opencv 特征匹配_兔子家的鱼的博客-CSDN博客(python opencv 特征匹配)

OpenCV上八种不同的目标追踪算法-电子发烧友网(OpenCV上八种不同的目标追踪算法)

opencv跟踪(BOOSTING, MIL, KCF,TLD, MEDIANFLOW, GOTURN, MOSSE, CSRT)_watersink的博客-CSDN博客(opencv跟踪)

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/weixin_40725706/article/detail/420443
推荐阅读
相关标签
  

闽ICP备14008679号