devbox
笔触狂放9
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

第一个项目总结：双目测距（python代码转为c++代码，最终输出点云图，再转为ros点云图，再实现可视化）_python双目相机深度计算

作者：笔触狂放9 | 2024-02-27 12:19:20

赞

踩

python双目相机深度计算

目录

1.双目成像原理

2.双目测距python代码

3.python代码转为c++代码

(1)双目相机参数

（2）立体校正

（3）立体匹配

4.opencv的点云图转为ros点云图

1.双目成像原理

摘自《视觉SLAM十四讲》

2.双目测距python代码

(46条消息) 双目测距理论及其python实现_python双目测距_javastart的博客-CSDN博客

具体过程为：

双目标定 --> 立体校正（含消除畸变） --> 立体匹配 --> 视差计算 --> 深度计算(3D坐标)计算

3.python代码转为c++代码

给到我的任务是将上面博客内的python代码转为c++代码，实现点云图输出，接下来从各个模块讲

解转换：

首先要对OpenCv有一定了解，知道OpenCv图像处理，知道OpenCv的库，大概怎么用。

(46条消息) Opencv快速入门(C++版)，新手向_opencv c++入门_骚火棍的博客-CSDN博客

OpenCV [c++]（图像处理基础示例程序汇总）_图像处理程序_NCUTer的博客-CSDN博客

可以看看这两篇博客。

双目标定这一步具体可以参考上面博客，然后获得双目相机参数：内外参和畸变系数。

(1)双目相机参数

python头文件里的存储着双目相机参数的类，我们换成c++可以直接放到主文件中也建个类，然后实例化。或者直接放入main函数中，这样后面立体校正就不用再读取参数了。这一步很简单，主要是c++的矩阵表示：

例如左参数：

  1. Mat cam_matrix_left = (Mat_<double>(3, 3)  //三行三列的矩阵
  2.  
  3.     << 532.9200/2 , 0. , 633.4000/2, 0. , 532.8150/2, 361.1735/2, 0., 0., 1.);

 

（2）立体校正

特别说明：Mat、remap,undistort等函数为opencv库内函数，可以直接使用，不需要cv::

因为我的参数直接放入main函数内，所以我这一步不再读取参数，整个立体校正过程我也直接放入main函数内。

  1. //1.计算矫正变换:得到立体矫正的映射矩阵
  2.  
  3.     cv::Mat maplx, maply;
  4.  
  5.     cv::Mat maprx, mapry;
  6.  
  7.     cv::Mat R1, R2, P1, P2,Q;//输出参数，分别为左右相机的校正旋转矩阵、投影矩阵和重投
  8.  
  9. 影矩阵
  10.  
  11.     cv::stereoRectify(left_K, left_distortion, right_K, right_distortion,  imageSize, R, T, R1, R2, P1, P2, Q )
  12.  
  13.      //stereoRectify:计算出用于立体矫正的参数  
  14.  
  15.     cv::initUndistortRectifyMap(left_K, left_distortion, R1, cv::Mat(), imageSize, CV_32FC1, maplx, maply);
  16.  
  17.     cv::initUndistortRectifyMap(right_K, right_distortion, R2, cv::Mat(),  imageSize, CV_32FC1, maprx, mapry);
  18.  
  19.     //initUndistortRectifyMap函数用于计算映射矩阵
  20.  
  21.  
  22.  
  23. //2.用映射矩阵做remap，得到矫正后的图像
  24.  
  25.     cv::Mat iml1,imr1;
  26.  
  27.     cv::undistort(iml, iml1, config.cam_matrix_left, config.distortion_l );
  28.  
  29.     cv::undistort(imr, imr1, config.cam_matrix_right, config.distortion_r );
  30.  
  31. //使用undistort函数后输出的图像为channel等于1的灰度图像，因为在后面的remap过程中，需要
  32.  
  33. 使用的是channel为1的图像
  34.  
  35.     cv::Mat rectified_iml,rectified_imr;
  36.  
  37.     remap(iml1, rectified_iml, maplx, maply, INTER_AREA);
  38.  
  39.     remap(imr1, rectified_imr, maprx, mapry, INTER_AREA);

（3）立体匹配

目的：为左图中的每一个像素点在右图中找到其对应点（世界中相同的物理点），这样就可以计算出视差：disparity = u_{l}-u_{r}（u_{l}和u_{r}分别是两个对应点在图像中的列坐标

1.预处理：彩色图转灰度图，调用preprocess函数，

preprocess(rectified_iml, rectified_imr);

2.SGBM匹配参数设置

  1. //根据输入的图像判断其通道数，如果是二维的则通道数为1，否则为3
  2.  
  3.     int img_channels;
  4.  
  5.     if (rectified_iml.dims== 2)    
  6.  
  7.  //dims：矩阵维度。如 3 * 4 的矩阵为 2 维， 3 *4 * 5 的为3维
  8.  
  9.           img_channels = 1;       
  10.  //Mat::channels()函数，返回mat的通道数，如rgb图像为3，8位灰度图为1。但是用imread()函数读取灰度图和rgb图时，得到的mat的channels均为3。
  11.  
  12.     else
  13.  
  14.           img_channels = 3;
  15.  
  16.  
  17.     double NumDisparities =  4;
  18.  
  19.     double BlockSize = 3;
  20.  
  21.     double P1 = 4*img_channels*BlockSize*BlockSize;           
  22. //BlockSize表示邻域块大小,用来计算区域阈值,奇数,一般选择为3、5、7…等
  23.  
  24.     double P2 = 32*img_channels*BlockSize*BlockSize;
  25.  
  26.  
  27. //sgbm是StereoSGBM类的一个对象，用于实现立体匹配算法
  28.  
  29. sgbm->setMinDisparity(0);                    //设置最小视差为0

同理可得其他参数设置。

3.计算视差图

  1.      Mat disparity;
  2.  
  3.     cv :: Mat disparity_sgbm;
  4.  
  5.     sgbm -> compute(rectified_iml,rectified_imr, disparity_sgbm);
  6.      
  7.      //使用SGBM算法计算左右图像之间的视差图。视差图是一幅灰度图像，
  8.  
  9.      //其中每个像素的值表示该像素在左图像中的位置与右图像中对应像素位置之间的水平偏移量
  10.  
  11.     disparity_sgbm.convertTo(disparity, CV_8UC1, 1.0/16.0f);   
  12.  
  13.     //视差图转换为8位无符号整数类型，并将每个像素值除以16，以便在显示时更好地可视化
  14.  
  15.     //最终输出为disparity


        

4.计算像素点的三维坐标

OpenCV中提供了reprojectImageTo3D()这个函数用于计算像素点的三维坐标，该函数会返回一个3

通道的矩阵，分别存储X、Y、Z坐标（左摄像机坐标系下） 

  1.     Mat points3D;
  2.  
  3.     cv::reprojectImageTo3D(disparity, points3D, Q);

5.转换成点云图

  1. cv::Mat colors;
  2. 	cv::cvtColor(imgl, colors, cv::COLOR_GRAY2BGR);
  3.  
  4. 	//cv::Mat::create()函数创建一个与points3D相同大小的三通道浮点型矩阵output，
  5. 	//然后将每个像素的三维坐标赋值给output矩阵中对应像素的三通道浮点型值
  6. 	cv::Mat output;
  7. 	output.create(points3D.size(), CV_32FC3);
  8. 	for (int i = 0; i < points3D.rows; i++) {
  9. 		for (int j = 0; j < points3D.cols; j++) {
  10. 			cv::Vec3f point = points3D.at<cv::Vec3f>(i, j);
  11. 			cv::Vec3b color = colors.at<cv::Vec3b>(i, j);
  12. 			output.at<cv::Vec3f>(i, j) = point;
  13. 		}
  14. 	}

然后我用imshow（）函数来显示点云图，但是没有结果，于是我用opencv的viz模块实现点云图输出：

(55条消息) OpenCV学习篇2：viz模块简单用法_robinhjwy的博客-CSDN博客

  1.     cv::viz::Viz3d viewer("Point Cloud");  //创建可视化窗口
  2.     viewer.showWidget("Coordinate Widget", cv::viz::WCoordinateSystem());  //构造一个坐标系，并显示到窗口中
  3.     cv::viz::WCloud cloud_widget(points3D, colors);
  4.     viewer.showWidget("Point Cloud", cloud_widget);
  5.     viewer.spin();  //开启永久循环暂留

6.左图像、视差图、点云图显示

  1.     namedWindow("Left Image");     //namewindow函数调用，帮助你将分辨率过高的图片正常在窗口显示
  2.  
  3.     setMouseCallback("Left Image", onMouse);    //鼠标回调函数 
  4.  
  5.     imshow("Left Image", iml);         //imshow( )函数功能就是把载入的图片显示出来
  6.  
  7.     waitKey(0);                               //"Left Image"是显示窗口的名称
  8.  
  9.     imshow("disparity image", disparity);
  10.  
  11.     waitKey(0);

7.编译

CMakeLists.txt中添加：按下面说明根据自己情况修改

  1. # Define project name
  2. #project(opencv_example_project)    #设置工程名 
  3.  
  4. # Find OpenCV, you may need to set OpenCV_DIR variable
  5. # to the absolute path to the directory containing OpenCVConfig.cmake file
  6. # via the command line or GUI
  7. #find_package(OpenCV REQUIRED)    #不用改（cmake用来查找opencv包用的）
  8.  
  9. # If the package has been found, several variables will
  10. # be set, you can find the full list with descriptions
  11. # in the OpenCVConfig.cmake file.
  12. # Print some message showing some of them
  13. #message(STATUS "OpenCV library status:")
  14. #message(STATUS "    config: ${OpenCV_DIR}")
  15. #message(STATUS "    version: ${OpenCV_VERSION}")
  16. #message(STATUS "    libraries: ${OpenCV_LIBS}")
  17. #message(STATUS "    include path: ${OpenCV_INCLUDE_DIRS}")     #以上四行干啥用不知道？！
  18.  
  19. # Declare the executable target built from your sources
  20. #add_executable(opencv_example example.cpp)     #工程文件名和编译文件名
  21.  
  22. # Link your application with OpenCV libraries
  23. #target_link_libraries(opencv_example PRIVATE ${OpenCV_LIBS})   #工程文件名

cmake .

make

./工程文件名

可能遇到的问题：

1.cv::viz::Viz3d::spin()’未定义的引用

大概是因为链接器无法找到OpenCV库文件

opencv在ubuntu下是通过调用早已编译好的动态链接库.so文件来生成程序的，通过g++ 的编译控制选项也许可以制定编译器的查找路径

添加opencv模块方法皆如下：

Ubuntu安装opencv的扩展模块-viz模块_Abdullah al-Sa的博客-CSDN博客

解决：可以在自己的opencv包里面module里看是否有，如果没有就去GitHub上下载一下viz模块：mirrors / opencv / opencv_contrib

4.opencv的点云图转为ros点云图

1.使用ROS中的PCL库（Point Cloud Library）读取YAML文件并将其转换为PointCloud2消息类型

2.需要在CMakeLists.txt中添加依赖项和链接库等

  1. cmake_minimum_required(VERSION 2.8.3)
  2. project(your_project_name)
  3.  
  4. find_package(catkin REQUIRED COMPONENTS
  5.   roscpp
  6.   cv_bridge
  7.   image_transport
  8. )
  9.  
  10. find_package(OpenCV REQUIRED)
  11.  
  12. catkin_package()
  13.  
  14. include_directories(
  15.   ${catkin_INCLUDE_DIRS}
  16.   ${OpenCV_INCLUDE_DIRS}
  17. )
  18.  
  19. add_executable(your_executable_name src/your_source_file.cpp)
  20.  
  21. target_link_libraries(your_executable_name
  22.   ${catkin_LIBRARIES}
  23.   ${OpenCV_LIBRARIES}
  24. )

可能遇到的问题：

1.在ros下使用opencv读取图像话题时，在OpenCV图像与ROS图像之间的转换中会使用到cv_bridge。由于自己安装了opencv与ros自带的opencv发生冲突而有问题。因此需要解决cv_bridge。

Ubuntu+ROS+opencv4.3.0 修改cv_bridge配置文件，解决ROS与opencv版本冲突问题_ubutnu查看cv_bridge版本_NENGSHUIYIZHOU的博客-CSDN博客

当中查看ubuntu的opencv安装路径：

sudo find / -iname "*opencv*"

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/笔触狂放9/article/detail/152889
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号