devbox
小蓝xlanll
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

21年电赛-送药小车—基于OpenMV的寻迹+检测路口+数字识别（多模版匹配）（附代码）_openmv数字识别

作者：小蓝xlanll | 2024-05-19 02:14:56

赞

踩

openmv数字识别

        我们花费了四天时间打了一场21年的电赛改编题——智能送药小车。虽然结果不尽人意，但这是我学习32以来第一次正式的打比赛，对我来说要学习的东西，所增长的经验真的特别多（虽然基本上都是学长在出力~）下来我就把关于这次比赛的感悟和大家分享一下。

一、OpenMV寻迹

        我们使用OpenMV进行寻迹。思路就是先对图像进行二值化处理，只让OpenMV识别出红线，然后通过线性回归方法检测出直线。通过计算出直线的平移偏移量和旋转偏移量，然后带入pid算法中来控制小车进行巡线。

  1. #pid巡线前进
  2. def lookfor_line():
  3.     # 使用PID算法计算控制信号
  4.     rho_output = rho_pid.get_pid(直线平移偏移量, 1)
  5.     theta_output = theta_pid.get_pid(直线旋转偏移量, 1)
  6.     output = rho_output + theta_output
  7.     #print("kkkkkkkkkkkkkk", end="")
  8.     #print(output)
  9.     # 根据PID输出调整小车的速度
  10.     output = output * 2
  11.     car.run(80+ output, 80 - output)
  12.  
  13.  
  14. # 计算直线的平移偏移量（直线中点到图像中心的距离）
  15. 直线平移偏移量 = abs(line.rho()) - img.width() / 2
  16. # 计算直线的旋转偏移量（直线与垂直方向的夹角）
  17. if line.theta() > 90:
  18.     直线旋转偏移量 = line.theta() - 180
  19. else:
  20.     直线旋转偏移量 = line.theta()
  21. # 如果直线的强度（长度）足够大，则认为是有效直线，需要控制小车
  22. if stats.mean() > 3:
  23.     lookfor_line()

二、OpenMV检测路口

        识别数字的摄像头无非就发送三种数据，要么目标药房在左，要么目标药房在右，要么没识别到直接前进。下面的摄像头只负责检测到路口然后执行上面摄像头发下来的操作即可，不必区分十字路口还是T字路口。

        我们检测路口的思路也很简单，只要判断红色区域（二值化之后是白色区域）的面积突然增大即可。我们的摄像头在一般巡线的时候红色区域的面积在15左右，当有路口出现的时候，面积会到23左右。

  1. stats = img.get_statistics()
  2. #遇到了路口
  3. if stats.mean()>18:
  4.     #执行相关逻辑代码

三、OpenMV数字识别

        我们使用的是OpenMV的多模板匹配。效果还行。


模版的采集：

·        就是先将车搭好，然后让车开到指定地点，就最好是后面的T字路口处，让T字路口的那四张照片全部落在OpenMV的正中央，将这些数字的几种形态全部拍摄成模版。可以将数字分为两大类。1~2,3~8。因为1~2是固定路线，所以只要拍摄正脸照用来发车前识别就行。3~8可以分为左边，最左边，右边，最右边和正面五中情况。所以我们一共拍摄了32张模板，然后将模板转化为pgm格式，像素大小为35*35。因为不能超过openmv的像素大小。35*35的像素我们感觉识别速度和准确率都还行，官方给的建议是不超过60*80。

        我们是用电脑截图，然后改像素转格式。截图时用的代码：

  1. import sensor,time,image
  2.  
  3. #重置传感器
  4. sensor.reset()
  5.  
  6. sensor.set_contrast(1)#设置对比度
  7. sensor.set_gainceiling(16)#设置增益上限
  8. sensor.set_framesize(sensor.QQVGA)#设置图像分辨率为 QQVGA
  9. sensor.set_pixformat(sensor.GRAYSCALE)#设置图像格式为灰度
  10. #sensor.set_windowing(0, 40, 160, 40)#设置窗口大小,后面ROI设置也会以这个为新的基准
  11. # 拍摄图像并保存
  12. while (1):
  13.     img = sensor.snapshot()
  14.     time.sleep_ms(10)
  15.

多模板匹配：       

        多模版匹配其实就是用多个模版调用模板匹配函数 find_template 来进行模板匹配。如果进行多模板匹配时检测不到模板，可以适当降低感兴趣区域面积 roi ，使用EX识别，减少 threshold 的值等。如果错误率太高可以增加 threshold 的值，增加模板等。

  1. import time, image,sensor,math,pyb
  2. #引入两种匹配算法
  3. from image import SEARCH_EX, SEARCH_DS
  4. from pyb import Pin, Timer,LED
  5. uart = pyb.UART(3, 115200, timeout_char = 1000)     #定义串口3变量
  6. #重置传感器
  7. sensor.reset()
  8.  
  9. sensor.set_contrast(1)#设置对比度
  10. sensor.set_gainceiling(16)#设置增益上限
  11. sensor.set_framesize(sensor.QQVGA)#设置图像分辨率为 QQVGA
  12. sensor.set_pixformat(sensor.GRAYSCALE)#设置图像格式为灰度
  13. #sensor.set_windowing(0, 0, 160, 160)#设置窗口大小,后面ROI设置也会以这个为新的基准
  14.  
  15. #=====================================加载模板图片
  16. template01 = image.Image("/1.pgm")
  17. template02 = image.Image("/2.pgm")
  18. template03 = image.Image("/3.pgm")
  19. template04 = image.Image("/4fly.pgm")
  20. template05 = image.Image("/5.pgm")
  21. template06 = image.Image("/6.pgm")
  22. template07 = image.Image("/7.pgm")
  23. template08 = image.Image("/8fly.pgm")
  24.  
  25.  
  26. template3L = image.Image("/3L.pgm")
  27. template3LL = image.Image("/3LL.pgm")
  28. template3R = image.Image("/3R.pgm")
  29. template3RR = image.Image("/3RR.pgm")
  30.  
  31. template4L = image.Image("/4L.pgm")
  32. template4LL = image.Image("/4LL.pgm")
  33. template4R = image.Image("/4R.pgm")
  34. template4RR = image.Image("/4RR.pgm")
  35.  
  36. template5L = image.Image("/5L.pgm")
  37. template5LL = image.Image("/5LL.pgm")
  38. template5R = image.Image("/5R.pgm")
  39. template5RR = image.Image("/5RR.pgm")
  40.  
  41. template6L = image.Image("/6L.pgm")
  42. template6LL = image.Image("/6LL.pgm")
  43. template6R = image.Image("/6R.pgm")
  44. template6RR = image.Image("/6RR.pgm")
  45.  
  46. template7L = image.Image("/7L.pgm")
  47. template7LL = image.Image("/7LL.pgm")
  48. template7R = image.Image("/7R.pgm")
  49. template7RR = image.Image("/7RR.pgm")
  50.  
  51. template8L = image.Image("/8L.pgm")
  52. template8LL = image.Image("/8LL.pgm")
  53. template8R = image.Image("/8R.pgm")
  54. template8RR = image.Image("/8RR.pgm")
  55.  
  56. # 1.轮询1~8，直至识别到。  2.根据f103给的值，单纯识别那个数
  57. Find_Task = 1#第几次匹配
  58. 目标药房 = 0#需要到达的药房
  59. find_flag = 0 #只声明，未使用
  60.  
  61.  
  62. #=======================================第一次模版匹配
  63. #####  FindTask == 1 时使用
  64. #开始位置匹配
  65. def FirstFindTemplate(template):
  66.     kuang = (50,38,70,53)
  67.     R = img.find_template(template, 0.6, step=1,roi=kuang, search=SEARCH_EX)   #只检测中间的
  68.     img.draw_rectangle(kuang, color=(255,255,255))
  69.     return R
  70. #匹配具体值
  71. def FirstFindedNum(R, Finded_Num): #第一个参数是模板匹配的对象，第二个是它所代表的数字
  72.    global Find_Task
  73.    global find_flag
  74.    global 目标药房
  75.    img.draw_rectangle(R, color=(225, 0, 0))
  76.  
  77.    #本来中值是80的，但返回值是框边缘，所以减去15就好  小于65是在左边，大于65是在右边
  78.    #LoR = 0
  79.    find_flag = 1
  80.    Num = Finded_Num
  81.    print("目标病房号：", Num)
  82.    目标药房 = Num
  83.    #识别到目标药房，执行任务2
  84.    Find_Task=2
  85.  
  86.    if Num == 1:
  87.        uart.write("1")
  88.  
  89.    uart.write("start")
  90.    print("start")
  91.  
  92.  
  93.  
  94.  
  95. #=======================================第二次模版匹配
  96. #####  FindTask == 2 时使用
  97. #模板匹配
  98. def FindTemplate(template):
  99.     kuang = (0, 30, 160, 50)
  100.     R = img.find_template(template, 0.8, step=1, roi=kuang, search=SEARCH_EX)
  101.     img.draw_rectangle(kuang, color=(255, 255, 255))
  102.     return R
  103.  
  104. def FindedNum(R, Finded_Num):#第一个参数是模板匹配的对象，第二个是它所代表的数字
  105.     global Find_Task
  106.     global find_flag
  107.     LoR = 0
  108.     img.draw_rectangle(R, color=(225, 0, 0))
  109.  
  110.     #本来中值是80的，但返回值是框边缘，所以减去15就好  小于65是在左边，大于65是在右边
  111.     if R[0] >= 65:
  112.         LoR = 2    #2是右
  113.     elif 0< R[0] <65:
  114.         LoR = 1    #1是左
  115.     find_flag = 1
  116.     Num = Finded_Num
  117.     print("识别到的数字是：", Num, "此数字所在方位：", LoR) #打印模板名字
  118.     if LoR == 1:
  119.         uart.write("a")
  120.         print("a")
  121.     elif LoR == 2:
  122.         uart.write("b")
  123.         print("b")
  124.  
  125.  
  126. #=======================================主循环
  127. clock = time.clock()
  128. # Run template matching
  129. time.sleep(1)
  130. while (True):
  131.     clock.tick()
  132.     img = sensor.snapshot()
  133.  
  134.  
  135.     #==============================开始位置识别数字
  136.     if Find_Task == 1:
  137.  
  138.         print("正在识别病房号")
  139.  
  140.  
  141.        #进行模板匹配，成功返回模版所在一个元组，否则返回None
  142.         r01 = FirstFindTemplate(template01)
  143.         r02 = FirstFindTemplate(template02)
  144.         r03 = FirstFindTemplate(template03)
  145.         r04 = FirstFindTemplate(template04)
  146.         r05 = FirstFindTemplate(template05)
  147.         r06 = FirstFindTemplate(template06)
  148.         r07 = FirstFindTemplate(template07)
  149.         r08 = FirstFindTemplate(template08)
  150.  
  151.  
  152.         #判断哪个模板匹配成功
  153.         if r01:
  154.              FirstFindedNum(r01,1)
  155.         elif r02:
  156.              FirstFindedNum(r02,2)
  157.         elif r03:
  158.              FirstFindedNum(r03,3)
  159.         elif r04:
  160.              FirstFindedNum(r04,4)
  161.         elif r05:
  162.              FirstFindedNum(r05,5)
  163.         elif r06:
  164.              FirstFindedNum(r06,6)
  165.         elif r07:
  166.              FirstFindedNum(r07,7)
  167.         elif r08:
  168.              FirstFindedNum(r08,8)
  169.         #else:
  170.              #print("没检测到目标病房！！！")
  171.  
  172.  
  173.     #=============================路中识别数字
  174.     elif Find_Task == 2:
  175.  
  176.         print("正在识别地标号")
  177.         #break##退出用来调试
  178.  
  179.         #判断需要数字3~8中断哪一个
  180.  
  181.         if 目标药房 == 3:
  182.             #进行模板匹配  //这里每个数字至少给3个模板， 但给五六个其实也行
  183.             r3 = FindTemplate(template03)
  184.             r3L = FindTemplate(template3L)
  185.             r3LL = FindTemplate(template3LL)
  186.             r3R = FindTemplate(template3R)
  187.             r3RR = FindTemplate(template3RR)
  188.  
  189.             #判断哪个模板匹配成功
  190.             if r3L:
  191.                 FindedNum(r3L, 3)
  192.             elif r3LL:
  193.                 FindedNum(r3LL, 3)
  194.             elif r3R:
  195.                 FindedNum(r3R, 3)
  196.             elif r3RR:
  197.                 FindedNum(r3RR, 3)
  198.             elif r3:
  199.                 FindedNum(r3, 3)
  200.  
  201.         elif 目标药房 == 4:
  202.             #进行模板匹配  //这里每个数字至少给3个模板， 但给五六个其实也行
  203.             #r4 = FindTemplate(template04)
  204.             r4L = FindTemplate(template4L)
  205.             r4LL = FindTemplate(template4LL)
  206.             r4R = FindTemplate(template4R)
  207.             r4RR = FindTemplate(template4RR)
  208.  
  209.             #判断哪个模板匹配成功，并将成功匹配的相应数据发送给主控
  210.  
  211.             if r4L:
  212.                 FindedNum(r4L, 4)
  213.             elif r4LL:
  214.                 FindedNum(r4LL, 4)
  215.             elif r4R:
  216.                 FindedNum(r4R, 4)
  217.             elif r4RR:
  218.                 FindedNum(r4RR, 4)
  219.             #elif r4:
  220.                 #FindedNum(r4, 4)
  221.  
  222.         elif 目标药房 == 5:
  223.             #进行模板匹配  //这里每个数字至少给3个模板， 但给五六个其实也行
  224.             r5 = FindTemplate(template05)
  225.             r5L = FindTemplate(template5L)
  226.             r5LL = FindTemplate(template5LL)
  227.             r5R = FindTemplate(template5R)
  228.             r5RR = FindTemplate(template5RR)
  229.  
  230.             #判断哪个模板匹配成功，并将成功匹配的相应数据发送给主控
  231.  
  232.             if r5L:
  233.                 FindedNum(r5L, 5)
  234.             elif r5LL:
  235.                 FindedNum(r5LL, 5)
  236.             elif r5R:
  237.                 FindedNum(r5R, 5)
  238.             elif r5RR:
  239.                 FindedNum(r5RR, 5)
  240.             elif r5:
  241.                 FindedNum(r5, 5)
  242.  
  243.         elif 目标药房 == 6:
  244.             #进行模板匹配  //这里每个数字至少给3个模板， 但给五六个其实也行
  245.             r6 = FindTemplate(template06)
  246.             r6L = FindTemplate(template6L)
  247.             r6LL = FindTemplate(template6LL)
  248.             r6R = FindTemplate(template6R)
  249.             r6RR = FindTemplate(template6RR)
  250.  
  251.             #判断哪个模板匹配成功，并将成功匹配的相应数据发送给主控
  252.  
  253.             if r6L:
  254.                 FindedNum(r6L, 6)
  255.             elif r6LL:
  256.                 FindedNum(r6LL, 6)
  257.             elif r6R:
  258.                 FindedNum(r6R, 6)
  259.             elif r6RR:
  260.                 FindedNum(r6RR, 6)
  261.             elif r6:
  262.                 FindedNum(r6, 6)
  263.  
  264.  
  265.         elif 目标药房 == 7:
  266.             #进行模板匹配  //这里每个数字至少给3个模板， 但给五六个其实也行
  267.             r7 = FindTemplate(template07)
  268.             r7L = FindTemplate(template7L)
  269.             r7LL = FindTemplate(template7LL)
  270.             r7R = FindTemplate(template7R)
  271.             r7RR = FindTemplate(template7RR)
  272.  
  273.             #判断哪个模板匹配成功，并将成功匹配的相应数据发送给主控
  274.             if r7L:
  275.                 FindedNum(r7L, 7)
  276.             elif r7LL:
  277.                 FindedNum(r7LL, 7)
  278.             elif r7R:
  279.                 FindedNum(r7R, 7)
  280.             elif r7RR:
  281.                 FindedNum(r7RR, 7)
  282.             elif r7:
  283.                 FindedNum(r7, 7)
  284.  
  285.         elif 目标药房 == 8:
  286.             #进行模板匹配  //这里每个数字至少给3个模板， 但给五六个其实也行
  287.             #r8 = FindTemplate(template08)
  288.             r8L = FindTemplate(template8L)
  289.             r8LL = FindTemplate(template8LL)
  290.             r8R = FindTemplate(template8R)
  291.             r8RR = FindTemplate(template8RR)
  292.  
  293.             #判断哪个模板匹配成功，并将成功匹配的相应数据发送给主控
  294.  
  295.             if r8L:
  296.                 FindedNum(r8L, 8)
  297.             elif r8LL:
  298.                 FindedNum(r8LL, 8)
  299.             elif r8R:
  300.                 FindedNum(r8R, 8)
  301.             elif r8RR:
  302.                 FindedNum(r8RR, 8)
  303.             #elif r8:
  304.                 #FindedNum(r8, 8)
  305.  
  306.  
  307.         #else: time.sleep_ms(100)
  308.     else: time.sleep_ms(100)
  309.  
  310.     print(clock.fps(),Find_Task, 目标药房)

         我会将模板和完整代码放到我的资源中，如果大家需要的话可以自行下载。

四、有点小疑问         

        最后我们发现我们的小车连着电脑跑的时候，数字识别的准确率很高，而且小车跑的也很稳。但如果脱机跑的时候，就有很大情况会识别不到数字，而且小车也经常会在转弯时遇到问题。我们使用的是充电宝，想着应该和供电关系不大吧~~~，求解答！！！

        最后的最后，请驻足欣赏一下我们的可怜的直流电机战车！！！

                      

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小蓝xlanll/article/detail/590936
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号