当前位置:   article > 正文

VS2019 + OpenVINO 初体验_openvino mingw

openvino mingw

0. 前言

  • 目标:在 Windows 上运行 OpenVINO 2021.4 版

  • 实现路径:

    • 之前打算用 CMake + MinGW + VSCode 的方案在 Windows 下进行 C++ 开发,但在执行 cmake 命令阶段就爆出一个 This Intel TBB package is intended to be used only in the project with MSVC 的错。
      • 这个 TBB 是安装 OpenVINO 时自带的预编译版本,不是手动安装的。
      • 也许可以通过手动编译一个 TBB 来解决这个问题,也可能可以通过手动编译 OpenVINO 来解决这个问题,但短期内,应该没有时间来处理这个问题。
    • Windows 下 C++ 开发最常用的方案就是 Visual Studio,所以现在就决定使用 VS2019 进行 OpenVINO C++ 的日常开发。
  • 准备工作

    • 安装 VS2019
      • 由于现在最新的是 VS2021,VS2019版的安装路径稍微有点麻烦,还需要用户登录后才能下载。
      • 官网下载链接
    • 安装 OpenVINO
      • 这里选择使用 OpenVINO 2021.4 版本,其他版本没有测试过,不太清楚。
      • 官网下载链接,Windows 下安装很容易,全部打钩,然后下一步下一步就行了。
  • 本文剩余内容主要是:

    • OpenVINO + VS2019 中的配置
    • 推理程序概述

1. OpenVINO 在 VS2019 中的配置

  • 假设 OpenVINO 的安装路径是 C:\Program Files (x86)\Intel\openvino_2021.4.752\

  • 需要设置的配置主要包括:

    • 环境变量
    • 头文件路径
    • 静态链接库路径
    • 附加依赖项(也就是所有静态库的名称)
    • 动态链接库路径
  • 在环境变量 PATH 中添加以下内容

    • 这个在之前看过的文章中没有提到,我也不知道起了什么作用,反正都加上就好了
C:\Program Files (x86)\Intel\openvino_2021.4.752\opencv\bin
C:\Program Files (x86)\Intel\openvino_2021.4.752\inference_engine\bin\intel64\Debug
C:\Program Files (x86)\Intel\openvino_2021.4.752\inference_engine\bin\intel64\Release
  • 1
  • 2
  • 3
  • 添加头文件路径
    • 在 VS2019 的 项目属性-> VC++ 目录 -> 包含目录 中添加
    • 也可以在 项目属性 -> C/C++ -> 常规 -> 附加包含目录 中添加
    • Debug 和 Release 模式内容相同
# Debug 和 Release 模式都相同
C:\Program Files (x86)\Intel\openvino_2021.4.752\deployment_tools\inference_engine\include
C:\Program Files (x86)\Intel\openvino_2021.4.752\opencv\include
  • 1
  • 2
  • 3
  • 添加静态链接库路径
    • 就是 lib 文件所在路径,Debug 和 Release 模式内容不同
    • 在 VS2019 的 项目属性 -> VC++ 目录 -> 库目录 中添加
    • 也可以在 VS2019 的 项目属性 -> 链接器 -> 常规 -> 附加库目录 中添加
# Debug 模式
C:\Program Files %28x86%29\Intel\openvino_2021.4.752\opencv\lib
C:\Program Files (x86)\Intel\openvino_2021.4.752\deployment_tools\inference_engine\lib\intel64\Debug

# Relase 模式
C:\Program Files (x86)\Intel\openvino_2021.4.752\opencv\lib
C:\Program Files (x86)\Intel\openvino_2021.4.752\deployment_tools\inference_engine\lib\intel64\Release
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 添加附加依赖项
    • 本质就是各个静态链接库路径下用到的lib文件名称列表
    • Debug和Release版的内容不同,Debug版本一般都是 xxxd.lib 而对应的 Relase 版都是 xxx.lib
    • 由于 VS 中需要一个一个添加(好像暂时没看到方法可以同时获取,好像可以通过 /path/to/*.lib 的形式获取,但我没试过),所以写了个脚本打印所有 lib 文件名称,方便后续赋值
# Release 模式
opencv_calib3d453.lib
opencv_core453.lib
opencv_dnn453.lib
opencv_features2d453.lib
opencv_flann453.lib
opencv_gapi453.lib
opencv_highgui453.lib
opencv_imgcodecs453.lib
opencv_imgproc453.lib
opencv_ml453.lib
opencv_objdetect453.lib
opencv_photo453.lib
opencv_stitching453.lib
opencv_video453.lib
opencv_videoio453.lib
inference_engine.lib
inference_engine_c_api.lib
inference_engine_transformations.lib

# Debug 模式
opencv_calib3d453d.lib
opencv_core453d.lib
opencv_dnn453d.lib
opencv_features2d453d.lib
opencv_flann453d.lib
opencv_gapi453d.lib
opencv_highgui453d.lib
opencv_imgcodecs453d.lib
opencv_imgproc453d.lib
opencv_ml453d.lib
opencv_objdetect453d.lib
opencv_photo453d.lib
opencv_stitching453d.lib
opencv_video453d.lib
opencv_videoio453d.lib
inference_engined.lib
inference_engine_c_apid.lib
inference_engine_transformationsd.lib
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
# 使用方式: python print_lib.py --dir /path/to/xxx.lib --debug --suffix ".lib"
import os
import argparse


def parse_args():
    parser = argparse.ArgumentParser()
    parser.add_argument("--dir", default=".")
    parser.add_argument("--debug", action="store_true")
    parser.add_argument("--suffix", default=".lib")
    return parser.parse_args()


def main(args):
    if not os.path.exists(args.dir):
        raise ValueError(f"Path {args.dir} doesn't exist")
    suffix = args.suffix
    debug_suffix = "d" + suffix
    if args.debug:
        lines = [file for file in os.listdir(args.dir) if file.endswith(debug_suffix)]
    else:
        lines = [file for file in os.listdir(args.dir) if file.endswith(suffix) and (not file.endswith(debug_suffix))]
    for line in lines:
        print(line)

if __name__ == '__main__':
    main(parse_args())
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 添加动态依赖库路径
    • 这个在之前网上看到的文章里没有。
    • 如果不添加就会报 XXX.dll 找不到的错。
    • 复制了对应的 dll 到exe文件所在路径后,也会有些其他奇奇怪怪的错误,所以后来就添加了路径。
    • 在 VS2019 的 项目属性 -> 调试 -> 环境 中添加内容
# Release 模式
PATH=C:\Program Files (x86)\Intel\openvino_2021.4.752\deployment_tools\inference_engine\bin\intel64\Release;C:\Program Files (x86)\Intel\openvino_2021.4.752\deployment_tools\ngraph\lib;C:\Program Files (x86)\Intel\openvino_2021.4.752\deployment_tools\inference_engine\external\tbb\bin;%PATH%

# Debug 模式
PATH=C:\Program Files (x86)\Intel\openvino_2021.4.752\deployment_tools\inference_engine\bin\intel64\Debug;C:\Program Files (x86)\Intel\openvino_2021.4.752\deployment_tools\ngraph\lib;C:\Program Files (x86)\Intel\openvino_2021.4.752\deployment_tools\inference_engine\external\tbb\bin;%PATH%
  • 1
  • 2
  • 3
  • 4
  • 5

2. OpenVINO 模型推理程序梗概

  • 程序整体结构以及注释如下
// 开始执行 OpenVINO
InferenceEngine::Core ie;

// 导入模型结构以及权重
auto network = ie.ReadNetwork(model_path, bin_path);

// 设置输入/输出相关参数,可以配置预处理内容
InferenceEngine::InputsDataMap input_info(network.getInputsInfo());
InferenceEngine::OutputsDataMap output_info(network.getOutputsInfo());
for (auto& item : input_info) {
  auto input_data = item.second;
  // 按需配置
  input_data->setPrecision(InferenceEngine::Precision::FP32);
  input_data->setLayout(InferenceEngine::Layout::NCHW);
  input_data->getPreProcess().setResizeAlgorithm(RESIZE_BILINEAR);
  input_data->getPreProcess().setColorFormat(InferenceEngine::ColorFormat::RGB);
}
for (auto& item : output_info) {
  auto output_data = item.second;
  output_data->setPrecision(Precision::FP32);
}

// 为推理做准备
// 注意,这两个对象可以重复使用,即创建一次即可
auto executable_network = ie.LoadNetwork(network, "CPU");
auto infer_request = executable_network.CreateInferRequest();

// 将输入信息拷贝到 input blob 相关内存中
for (auto& item : input_info) {
  auto input_name = item.first;
  auto input = infer_request.GetBlob(input_name);
  float* data = static_cast<float*>(input->buffer());

  // copy data to data ...
}

// 执行推理
infer_request.Infer();

// 获取推理结果
for (auto& item : output_info) {
  auto output_name = item.first;
  auto output = infer_request.GetBlob(output_name);
  const float* output_blob_data =
      static_cast<PrecisionTrait<Precision::FP32>::value_type*>(
          output->buffer());

  // do something with output_blob_data
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/煮酒与君饮/article/detail/839785
推荐阅读
相关标签
  

闽ICP备14008679号