devbox
weixin_40725706
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

2023电赛E题视觉部分OpenMV_电赛e题openmv

作者：weixin_40725706 | 2024-08-02 22:35:10

赞

踩

电赛e题openmv

电赛E题视觉基础部分：

      OpenMV固定于舵机云台前，屏幕画面置于镜头前，OpenMV将屏幕中数据信息，包括原点位置，激光点位置，A4靶纸边框位置利用串口传给主控芯片。（完整代码直接见第四部分）

一、OpenMV串口部分代码

        初始化OpenMV串口3，利用数据包一次发送十个数据给主控，包括五个坐标点——激光点坐标，靶值四个角点坐标。当需要发送数据时，只要在程序中引用此函数即可。

  1. import sensor, image, time
  2. import ustruct
  3. from pyb import UART,LED
  4.  
  5. uart = UART(3,9600)
  6. uart.init(9600, bits=8, parity=None, stop=1)  # 开启OpenMV串口3  波特率为9600，8位，一位停止位
  7.  
  8. def sending_data(rx,ry,cx,cy,cw,ch,xx,xy,xw,xh):  # 定义发送数据包函数  包头位“FF”,包尾为“FE”  
  9.     global uart;                              # 数据包中有十个数据
  10.     data = ustruct.pack("<bhhhhhhhhb",        # 分别为激光点中心坐标以及靶纸corner坐标
  11.                         0xFF,
  12.                         int(rx),
  13.                         int(ry),
  14.                         int(cx),
  15.                         int(cy),
  16.                         int(cw),
  17.                         int(ch),
  18.                         int(xx),
  19.                         int(xy),
  20.                         int(xw),
  21.                         int(xh),
  22.                         0xFE)
  23.     uart.write(data);

二、识别激光点

        利用OpenMV 自带的寻找色块的函数，寻找画面中最大激光点阈值的色块并读取中心坐标。3

2.1 阈值设置

        首先进行阈值的选择、ROI的选择以及曝光时间选择。（所给的数据均为比赛时我用的数据，请自行调整）

  1. #****************************阈值调整*******************************
  2. area=(45, 2, 200, 198)
  3. red=(88, 100, -16, 22, -128, 127)  
  4.  
  5. sensor.reset()
  6. sensor.set_pixformat(sensor.RGB565)
  7. sensor.set_framesize(sensor.QVGA)
  8. sensor.set_auto_whitebal(True)
  9. sensor.set_auto_gain(False)
  10. sensor.skip_frames(time = 2000)
  11. sensor.set_vflip(True)
  12. sensor.set_hmirror(True)
  13. #****************************曝光时间*******************************
  14. sensor.set_auto_exposure(False,4500)
  15.  
  16. clock = time.clock()

2.2 色块识别

  1. while(True)
  2.     clock.tick()
  3.     img = sensor.snapshot().lens_corr(strength = 1.6, zoom = 1.0)
  4.  
  5.     red_point= img.find_blobs([red])
  6.     if red_point:
  7.         r= red_point[0]
  8.         img.draw_rectangle(r[0:4],color=(0,0,0)) # rect
  9.         rx=r[5]
  10.         ry=r[6]

三、识别A4靶纸上电工胶带角点

3.1 方法一 ：直线交点法

        用OpenMV自带的寻找直线的函数在ROI中找到所有的直线，然后通过判断所寻找的直线数是否为四进行下一步求交点。

  1. #*****************************line_threshold**********************
  2. line_threshold=2500
  3. rect_threshold=10000
  4.  
  5. while(True):
  6.     clock.tick()
  7.     img = sensor.snapshot().lens_corr(strength = 1.6, zoom = 1.0)
  8.  
  9.     red_point= img.find_blobs([red])
  10.     if red_point:
  11.         r= red_point[0]
  12.         img.draw_rectangle(r[0:4],color=(0,0,0)) # rect
  13.         rx=r[5]
  14.         ry=r[6]
  15.         #print(rx,ry)
  16.  
  17.  
  18. #******************************************************************lines*****************
  19.     lines = img.find_lines(roi=area, threshold=line_threshold)
  20.     i=0
  21.     if len(lines)==4 :

        如果识别到四条直线，依次两两直线遍历，是否夹角大于一定值，判断直线是否相交，从而求出交点坐标 。

  1.     if len(lines)==4 :
  2.         theta0=lines[0].theta()
  3.         theta1=lines[1].theta()
  4.         theta2=lines[2].theta()
  5.         theta3=lines[3].theta()
  6.         for line in lines:
  7.             img.draw_line(line.line(),color=[255,0,0])
  8.         if abs(theta0-theta1)>45:
  9.             a[i]=calculate_intersection(lines[0],lines[1])[0]
  10.             i=i+1
  11.             a[i]=calculate_intersection(lines[0],lines[1])[1]
  12.             i=i+1
  13.         if abs(theta0-theta2)>45:
  14.             a[i]=calculate_intersection(lines[0],lines[2])[0]
  15.             i=i+1
  16.             a[i]=calculate_intersection(lines[0],lines[2])[1]
  17.             i=i+1
  18.         if abs(theta0-theta3)>45:
  19.             a[i]=calculate_intersection(lines[0],lines[3])[0]
  20.             i=i+1
  21.             a[i]=calculate_intersection(lines[0],lines[3])[1]
  22.             i=i+1
  23.         if abs(theta1-theta2)>45:
  24.             a[i]=calculate_intersection(lines[2],lines[1])[0]
  25.             i=i+1
  26.             a[i]=calculate_intersection(lines[2],lines[1])[1]
  27.             i=i+1
  28.         if abs(theta1-theta3)>45:
  29.             a[i]=calculate_intersection(lines[1],lines[3])[0]
  30.             i=i+1
  31.             a[i]=calculate_intersection(lines[1],lines[3])[1]
  32.             i=i+1
  33.         if abs(theta3-theta2)>45:
  34.             a[i]=calculate_intersection(lines[2],lines[3])[0]
  35.             i=i+1
  36.             a[i]=calculate_intersection(lines[2],lines[3])[1]
  37.             i=i+1

     其中求交点的坐标函数如下：

  1. def calculate_intersection(line1, line2):
  2.     '''
  3.     计算两条线的交点
  4.     '''
  5.     a1 = line1.y2() - line1.y1()
  6.     b1 = line1.x1() - line1.x2()
  7.     c1 = line1.x2()*line1.y1() - line1.x1()*line1.y2()
  8.  
  9.     a2 = line2.y2() - line2.y1()
  10.     b2 = line2.x1() - line2.x2()
  11.     c2 = line2.x2() * line2.y1() - line2.x1()*line2.y2()
  12.  
  13.     if (a1 * b2 - a2 * b1) != 0 and (a2 * b1 - a1 * b2) != 0:
  14.         cross_x = int((b1*c2-b2*c1)/(a1*b2-a2*b1))
  15.         cross_y = int((c1*a2-c2*a1)/(a1*b2-a2*b1))
  16.         return (cross_x, cross_y)
  17.     return None

3.2 方法二 :   矩形角点法

        利用OpenMV自带的寻找矩形函数。但需要注意阈值以及ROI，可以设置识别矩形的长宽范围筛选出我们所需要的那个矩形，从而记录角点坐标。

  1. while(True):
  2.     clock.tick()
  3.     img = sensor.snapshot()
  4.  
  5. # -----矩形框部分-----
  6.     # 在图像中寻找矩形
  7.     for r in img.find_rects(threshold = 10000):
  8.         # 判断矩形边长是否符合要求
  9.         if r.w() > 20 and r.h() > 20:
  10.             # 在屏幕上框出矩形
  11.             img.draw_rectangle(r.rect(), color = (255, 0, 0), scale = 4)
  12.             # 获取矩形角点位置
  13.             corner = r.corners()
  14.             # 在屏幕上圈出矩形角点
  15.             img.draw_circle(corner[0][0], corner[0][1], 5, color = (0, 0, 255), thickness = 2, fill = False)
  16.             img.draw_circle(corner[1][0], corner[1][1], 5, color = (0, 0, 255), thickness = 2, fill = False)
  17.             img.draw_circle(corner[2][0], corner[2][1], 5, color = (0, 0, 255), thickness = 2, fill = False)
  18.             img.draw_circle(corner[3][0], corner[3][1], 5, color = (0, 0, 255), thickness = 2, fill = False)
  19.  
  20.         # 打印四个角点坐标, 角点1的数组是corner[0], 坐标就是(corner[0][0],corner[0][1])
  21.         # 角点检测输出的角点排序每次不一定一致，矩形左上的角点有可能是corner0,1,2,3其中一个
  22.             corner1_str = f"corner1 = ({corner[0][0]},{corner[0][1]})"
  23.             corner2_str = f"corner2 = ({corner[1][0]},{corner[1][1]})"
  24.             corner3_str = f"corner3 = ({corner[2][0]},{corner[2][1]})"
  25.             corner4_str = f"corner4 = ({corner[3][0]},{corner[3][1]})"
  26.             print(corner1_str + "\n" + corner2_str + "\n" + corner3_str + "\n" + corner4_str)

四、完整程序

这里只给方法一的完整代码，方法二自行替换即可。

  1. import sensor, image, time
  2. import ustruct
  3. from pyb import UART,LED
  4.  
  5. #****************************阈值调整*******************************
  6. area=(45, 2, 200, 198)
  7. red=(88, 100, -16, 22, -128, 127)  #only red
  8.  
  9. sensor.reset()
  10. sensor.set_pixformat(sensor.RGB565)
  11. sensor.set_framesize(sensor.QVGA)
  12. sensor.set_auto_whitebal(True)
  13. sensor.set_auto_gain(False)
  14. sensor.skip_frames(time = 2000)
  15. sensor.set_vflip(True)
  16. sensor.set_hmirror(True)
  17. #****************************曝光时间*******************************
  18. sensor.set_auto_exposure(False,4500)
  19.  
  20. clock = time.clock()
  21. #*****************************line_threshold**********************
  22. line_threshold=2500
  23. rect_threshold=10000
  24.  
  25. uart = UART(3,9600)
  26. uart.init(9600, bits=8, parity=None, stop=1)
  27.  
  28. def calculate_intersection(line1, line2):
  29.     '''
  30.     计算两条线的交点
  31.     '''
  32.     a1 = line1.y2() - line1.y1()
  33.     b1 = line1.x1() - line1.x2()
  34.     c1 = line1.x2()*line1.y1() - line1.x1()*line1.y2()
  35.  
  36.     a2 = line2.y2() - line2.y1()
  37.     b2 = line2.x1() - line2.x2()
  38.     c2 = line2.x2() * line2.y1() - line2.x1()*line2.y2()
  39.  
  40.     if (a1 * b2 - a2 * b1) != 0 and (a2 * b1 - a1 * b2) != 0:
  41.         cross_x = int((b1*c2-b2*c1)/(a1*b2-a2*b1))
  42.         cross_y = int((c1*a2-c2*a1)/(a1*b2-a2*b1))
  43.         return (cross_x, cross_y)
  44.     return None
  45.  
  46. def sending_data(rx,ry,cx,c):
  47.     global uart;
  48.     data = ustruct.pack("<bhhhhhhhhb",
  49.                         0xFF,
  50.                         int(rx),
  51.                         int(ry),
  52.                         int(cx),
  53.                         int(cy),
  54.                         int(cw),
  55.                         int(ch),
  56.                         int(xx),
  57.                         int(xy),
  58.                         int(xw),
  59.                         int(xh),
  60.                         0xFE)
  61.     uart.write(data);
  62. cx=0
  63. cy=0
  64. rx=0
  65. ry=0
  66. a=[0,0,0,0,0,0,0,0,0,0]
  67.  
  68. while(True):
  69.     clock.tick()
  70.     img = sensor.snapshot().lens_corr(strength = 1.6, zoom = 1.0)
  71.  
  72.     red_point= img.find_blobs([red])
  73.     if red_point:
  74.         r= red_point[0]
  75.         img.draw_rectangle(r[0:4],color=(0,0,0)) # rect
  76.         rx=r[5]
  77.         ry=r[6]
  78.         #print(rx,ry)
  79.         
  80. #******************************************************************lines*****************
  81.     lines = img.find_lines(roi=area, threshold=line_threshold)
  82.     i=0
  83.     if len(lines)==4 :
  84.         theta0=lines[0].theta()
  85.         theta1=lines[1].theta()
  86.         theta2=lines[2].theta()
  87.         theta3=lines[3].theta()
  88.         for line in lines:
  89.             img.draw_line(line.line(),color=[255,0,0])
  90.         if abs(theta0-theta1)>45:
  91.             a[i]=calculate_intersection(lines[0],lines[1])[0]
  92.             i=i+1
  93.             a[i]=calculate_intersection(lines[0],lines[1])[1]
  94.             i=i+1
  95.         if abs(theta0-theta2)>45:
  96.             a[i]=calculate_intersection(lines[0],lines[2])[0]
  97.             i=i+1
  98.             a[i]=calculate_intersection(lines[0],lines[2])[1]
  99.             i=i+1
  100.         if abs(theta0-theta3)>45:
  101.             a[i]=calculate_intersection(lines[0],lines[3])[0]
  102.             i=i+1
  103.             a[i]=calculate_intersection(lines[0],lines[3])[1]
  104.             i=i+1
  105.         if abs(theta1-theta2)>45:
  106.             a[i]=calculate_intersection(lines[2],lines[1])[0]
  107.             i=i+1
  108.             a[i]=calculate_intersection(lines[2],lines[1])[1]
  109.             i=i+1
  110.         if abs(theta1-theta3)>45:
  111.             a[i]=calculate_intersection(lines[1],lines[3])[0]
  112.             i=i+1
  113.             a[i]=calculate_intersection(lines[1],lines[3])[1]
  114.             i=i+1
  115.         if abs(theta3-theta2)>45:
  116.             a[i]=calculate_intersection(lines[2],lines[3])[0]
  117.             i=i+1
  118.             a[i]=calculate_intersection(lines[2],lines[3])[1]
  119.             i=i+1
  120.         print(a)
  121.         FH = bytearray([0xFF,rx,ry,a[0],a[1],a[2],a[3],a[4],a[5],a[6],a[7],0xFE])
  122.         uart.write(FH)
  123.         print(rx,ry)
  124.  
  125.     print(clock.fps())

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/weixin_40725706/article/detail/920275
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号