devbox
凡人多烦事01
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

在LabVIEW中调用OpenVINO™模型 | 开发者实战_labview openvino

作者：凡人多烦事01 | 2024-06-15 22:12:57

赞

踩

labview openvino

1.1什么是LabVIEW？

LabVIEW测试测量与自动化行业常用，图形化开发环境，其优点有：

1、图形化开发环境，学习容易入门快

2、自带机器视觉函数库，并提供OpenCV接口库，开发机器视觉与自动化应用程序速度快

使用LabVIEW调用OpenVINO IR模型，可以快速完成深度学习项目开发与交付。

LabVIEW详细介绍参考：

https://www.ni.com/zhcn/shop/labview.html

1.2准备开发环境

要完成在LabVIEW中调用OpenVINO™ 模型，需要安装：

1、LabVIEW、Vision Development Module和NIVision OpenCV Utilities

2、Visual Studio 2019 Community；

3、OpenVINO 2021.4.2 LTS

1.2.1安装LabVIEW

LabVIEW请从下列网址下载安装文件，通过NI Package Manager完成安装。

https://www.ni.com/zh-cn/support/downloads/software-products/download.labview.html#411431

需要注意的是：选择LabVIEW 64位版本，并同时安装Vision Development模块，安装完毕后至少保证如图1-1所示的打钩模块都已安装。

图1-1  安装LabVIEW和Vision Development模块

“以管理员身份运行”JKI VI Package Manager，搜索并安装NIVision OpenCV Utilities，如图1-2所示。

图1-2  安装NIVision OpenCV Utilities

从C:\Program Files\National Instruments\LabVIEW 2021\examples\Vision\NIVision OpenCV Utilities文件夹中打开任意一个范例程序，若成功运行，证明安装成功，如图1-3所示。

图1-3  安装NIVision OpenCV Utilities成功

1.2.1安装Visual Studio 2019 Community和OpenVINO™  工具套件

从https://visualstudio.microsoft.com/zh-hans/downloads/中下载并安装Visual Studio 2019 Community。

从https://www.intel.cn/content/www/cn/zh/developer/tools/openvino-toolkit/overview.html 中下载并安装OpenVINO™ 工具套件

1.3准备OpenVINO IR模型

请参考本文的姊妹篇《PPYOLOv2模型从训练到OpenVINO部署-上篇》完成PPYOLOv2模型的部署，《PPYOLOv2模型从训练到OpenVINO部署-下篇》完成将PPYOLOv2飞桨模型转换为OpenVINO IR模型。

读者可以从https://github.com/dlod-openvino/ppyolov2_openvino_samples中下载已转换好的OpenVINO IR模型

1.4编写OpenVINO API 的LabVIEW Wrapper

1.4.1 定义存储Inference Engine的结构体

定义存储Inference Engine的结构体如代码清单1-1所示，方便创建和删除。

代码清单1-1  Inference Engine结构体

  1. //定义结构体，存储与Inference Engine相关的变量
  2.  
  3. typedef struct lv_infer_engine {
  4.  
  5.     Core ie;                     //ie对象
  6.  
  7.     ExecutableNetwork exec_net; 
  8.  
  9.     InferRequest infer_request;
  10.  
  11. } InferEngineStruct;

1.4.2创建ppyolov2_init函数

创建ppyolov2_init函数,主要是创建指向InferEngine的指针，并反回给LabVIEW。

代码清单1-2  ppyolov2_init函数

  1. // 创建指向InferEngine的指针，并反馈给LabVIEW
  2.  
  3. EXTERN_C  NI_EXPORT void* ppyolov2_init(char* model_xml_file, char* device_name, NIErrorHandle errorHandle) {
  4.  
  5.  
  6.  
  7.     InferEngineStruct* p = new InferEngineStruct();
  8.  
  9.     p->exec_net = p->ie.LoadNetwork(model_xml_file, device_name);
  10.  
  11.     p->infer_request = p->exec_net.CreateInferRequest();
  12.  
  13.  
  14.  
  15.  return (void*)p;        
  16.  
  17. }

1.4.3创建ppyolov2_predict函数

创建ppyolov2_predict函数，用于执行ppyolov2模型预测功能。

代码清单1-3  ppyolov2函数

  1. EXTERN_C void NI_EXPORT ppyolov2_predict(NIImageHandle sourceHandle, void* pInferEngine, char* bbox_name, char* bbox_num_name, float* detections, NIErrorHandle errorHandle) {
  2.  
  3.  
  4.  
  5.     NIERROR error = NI_ERR_SUCCESS;
  6.  
  7.     ReturnOnPreviousError(errorHandle);
  8.  
  9.  
  10.  
  11.  try {
  12.  
  13.         NIImage source(sourceHandle);
  14.  
  15.         Mat sourceMat;
  16.  
  17.         InferEngineStruct* p = (InferEngineStruct*)pInferEngine;
  18.  
  19.   //从NIImage对象中浅拷贝图像数据到
  20.  
  21. Mat对象
  22.  
  23.         ThrowNIError(source.ImageToMat(sourceMat));
  24.  
  25.         auto type = source.type;
  26.  
  27.         Blob::Ptr image_blob = p->infer_request.GetBlob("image");
  28.  
  29.         auto input_H = image_blob->getTensorDesc().getDims()[2]; 
  30.  
  31.         auto input_W = image_blob->getTensorDesc().getDims()[3];  
  32.  
  33.     // 交换RB通道
  34.  
  35.         cv::Mat blob;
  36.  
  37.         cv::cvtColor(sourceMat, blob, cv::COLOR_BGRA2RGB); 
  38.  
  39.        // 放缩图片到(input_H,input_W)
  40.  
  41.         cv::resize(blob, blob, cv::Size(input_H, input_W), 0, 0, cv::INTER_LINEAR);
  42.  
  43.      // 图像数据归一化，减均值mean，除以方差std
  44.  
  45.   // PaddleDetection模型使用imagenet数据集的 Mean = [0.485, 0.456, 0.406]和 std = [0.229, 0.224, 0.225]
  46.  
  47.         vector mean_values{ 0.485 * 255, 0.456 * 255, 0.406 * 255 };
  48.  
  49.         vector std_values{ 0.229 * 255, 0.224 * 255, 0.225 * 255 };
  50.  
  51.         vector rgbChannels(3);
  52.  
  53.         split(blob, rgbChannels);
  54.  
  55.     for (auto i = 0; i < rgbChannels.size(); i++)
  56.  
  57.         {
  58.  
  59.             rgbChannels[i].convertTo(rgbChannels[i], CV_32FC1, 1.0 / std_values[i], (0.0 - mean_values[i]) / std_values[i]);
  60.  
  61.         }
  62.  
  63.         merge(rgbChannels, blob);
  64.  
  65.  
  66.  
  67.         fillBlobImage(image_blob, blob);
  68.  
  69.  
  70.  
  71. const float scale_h = float(input_H) / float(sourceMat.rows);
  72.  
  73.   const float scale_w = float(input_W) / float(sourceMat.cols);
  74.  
  75.     const pair scale_factor(scale_h, scale_w);
  76.  
  77.         auto scale_factor_blob = p->infer_request.GetBlob("scale_factor");
  78.  
  79.         fillBlobImInfo(scale_factor_blob, scale_factor);  
  80.  
  81.   const pair im_shape(input_H, input_W);
  82.  
  83.         auto im_shape_blob = p->infer_request.GetBlob("im_shape");
  84.  
  85.         fillBlobImInfo(im_shape_blob, im_shape);  
  86.  
  87.  
  88.  
  89.         p->infer_request.Infer();        
  90.  
  91. const float* infer_results = p->infer_request.GetBlob(bbox_name)->buffer().as<precisiontrait::value_type*>();        
  92.  
  93.   const int* bbox_nums = p->infer_request.GetBlob(bbox_num_name)->buffer().as<precisiontrait::value_type*>();
  94.  
  95.  
  96.  
  97.         auto bbox_num = bbox_nums[0];
  98.  
  99.     for (int i = 0; i < bbox_num; i++) {
  100.  
  101.             detections[i * 6 + 0] = infer_results[i * 6 + 0];
  102.  
  103.             detections[i * 6 + 1] = infer_results[i * 6 + 1];
  104.  
  105.             detections[i * 6 + 2] = infer_results[i * 6 + 2];
  106.  
  107.             detections[i * 6 + 3] = infer_results[i * 6 + 3];
  108.  
  109.             detections[i * 6 + 4] = infer_results[i * 6 + 4];
  110.  
  111.             detections[i * 6 + 5] = infer_results[i * 6 + 5];
  112.  
  113.         }
  114.  
  115.  
  116.  
  117.     }
  118.  
  119.   catch (NIERROR _err) {
  120.  
  121.         error = _err;
  122.  
  123.     }
  124.  
  125.   catch (...) {
  126.  
  127.         error = NI_ERR_OCV_USER;
  128.  
  129.     }
  130.  
  131. ProcessNIError(error, errorHandle);
  132.  
  133. }

1.4.4创建ppyolov2_delete函数

创建ppyolov2_delete函数，用于释放ppyolov2_init创建的内存。

代码清单1-4  ppyolov2_delete函数

  1. EXTERN_C void NI_EXPORT ppyolov2_delete(void* pInferEngine, NIErrorHandle errorHandle) {
  2.  
  3.  
  4.  
  5. NIERROR error = NI_ERR_SUCCESS;
  6.  
  7. ReturnOnPreviousError(errorHandle);
  8.  
  9.  
  10.  
  11. InferEngineStruct* p = (InferEngineStruct*)pInferEngine;
  12.  
  13.  delete p;
  14.  
  15. }

1.4.5LabVIEW 中调用三个函数

在Visual Studio中将三个函数编译为dll，并在LabVIEW中调用，参考范例lv_opencv_demo.vi，运行结果如下所示。

图1-4  LabVIEW中调用三个API函数

以上代码可以从代码仓中下载：

https://github.com/dlod-openvino/ppyolov2_openvino_samples

 英特尔 OpenVINO开发工具套件高级课程，原价99元，限时免费学习，点击立即报名icon-default.png?t=N7T8https://bss.csdn.net/m/topic/intel_openvino/index/2/0?utm_source=wenzhang2

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/凡人多烦事01/article/detail/724048
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号