win10安装部署openVINO详细流程及出现的问题_openvino 部署

先验知识：

        现有的硬件厂商推出的深度学习推理框架：NVIDIA 的TensorRT、intel的openVINO。

openVINO可以通过通用 API 在 CPU、GPU 或 VPU 上进行推理。

win10下的部署步骤：

《intel官方安装教程》

1）安装vs2017（当然，vs2019也可以，但是2017会更好一点）、cmake（安装最新的就行）、python（openVINO的版本不同，所需的python版本不同，后面会说，本文使用是w_openvino_toolkit_p_2021.4.752.exe）

注意，在安装vs2017时需要勾选相应Cmake的组件：

 

 

 cmake正常安装、python安装时记得勾选上 Add Python 3.8.10 to PATH。

2）安装OpenVINO

下载openvino：
openvino官网下载   或者可以下载我的版本：w_penvino_toolkit_p_2021.4.752.exe

 这里方式下载的是最新的openvino，当你需要历史版本时：

我的版本为w_openvino_toolkit_p_2021.4.752.exe，可做如下选择：

 下载后默认安装即可（最好默认安装文件夹，以免后续有坑）。

我的安装路径是：C:\Program Files (x86)\Intel\openvino_2021.4.752

在上面的页面最下面有环境要求：

比如我的版本为w_openvino_toolkit_p_2021.4.752.exe，则需要安装cmake 3.10以上版本、python3.6到3.8之间的版本、还有vs2017或vs2019。

3）配置openvino环境变量：

进入：C:\Program Files (x86)\Intel\openvino_2021.4.752\bin

执行：setupvars.bat

 执行此命令只是对该cmd窗口有效，重新打开别的cmd窗口或者关闭重开后还需要再次这种操作，如果想要永久有效，那就需要配置电脑的环境变量，官方有这配置说明流程：

《为 Windows OpenVINO™ 10 永久设置工具套件®变量 》

按照教程操作即可。

4）配置模型优化器

        Model Optimizer是openvino工具的核心组件，可以实现不同框架模型到 openvino 的转化，如 TensorFlow、MXNet、Caffe 等，而 openvino 部署时需要 IR 格式的模型，它包含以下两个主要文件：

其中

xml 文件用于描述网络拓扑结构 

bin 文件是包含网络权重的二进制文件 

配置支持的多种框架，进入安装目录：

C:\Program Files (x86)\Intel\openvino_2021.4.752\deployment_tools\model_optimizer\install_prerequisites

执行：install_prerequisites.bat

 上图中：install_prerequisites.bat是会自动下载并安装所有支持的框架，也可以单独运行安装某一个你需要的框架。如install_prerequisites_onnx.bat，执行该语句后会自动将onnx的框架下载过来，并且会根据所需要的环境，安装缺少的库。

 下图为安装成功的结果：

执行上面的框架配置脚本后大概率会出现由于国内网络问题导致文件下载失败，如果下载失败的话可以手动去下载某个文件放到提示的对应文件夹下，再次执行该脚本即可。

5）执行官方自带的demo验证环境是否已经完全安装成功

进入安装目录：

C:\Program Files (x86)\Intel\openvino_2021.4.752\deployment_tools\demo

使用Model Optimizer转化成IR格式的数据，执行：demo_squeezenet_download_convert_run.bat

可以看到执行后会得到一个测试car.png的结果，也给出了可能的类别。 

 ****************************   出错地方  *****************************************************

1、在执行语句demo_squeezenet_download_convert_run.bat时大概率会出现下载squeezenet1.1有问题：

[ ERROR ]  The "C:\Users\Bigtide\Documents\Intel\OpenVINO\openvino_models\models\public\squeezenet1.1/squeezenet1.1.caffemodel" is not existing file
FAILED:
squeezenet1.1
Error

是国内网络问题导致下载出错，这里可以下载我已经准备好的两个文件：squeezenet1.1

（1）下载后放到文件夹：

C:\Users\Bigtide\Documents\Intel\OpenVINO\openvino_models\models\public\squeezenet1.1

注意：名称需重命名为​​squeezenet1.1.caffemodel​​和​​squeezenet1.1.prototxt

 （2）修改脚本文件demo_squeezenet_download_convert_run.bat

将里面第103行下载squeezenet1.1的代码的注释掉：

（3）再次运行 demo_squeezenet_download_convert_run.bat。

2、出现ERROR：C:\Users\Bigtide\Documents\Intel\OpenVINO\openvino_models\ir\public\squeezenet1.1\FP16\squeezenet1.1.xml cannot be opened!

解决办法：

squeezent1.1.xml文件是通过

C:\Program Files (x86)\Intel\openvino_2021.4.752\deployment_tools\model_optimizer中的mo_caffe.py对squeezenet1.1.caffemodel做模型优化时产生的，最终会产生一个xml和一个bin文件。

由前面可知，我们下载的 squeezenet1.1.caffemodel​​和​​squeezenet1.1.prototxt文件放到了C:\Users\Bigtide\Documents\Intel\OpenVINO\openvino_models\models\public\squeezenet1.1下，故可执行以下命令生成xml文件和bin文件：

mo_caffe.py --input_model C:\Users\Bigtide\Documents\Intel\OpenVINO\openvino_models\models\public\squeezenet1.1/squeezenet1.1.caffemodel --output_dir C:\Users\Bigtide\Documents\Intel\OpenVINO\openvino_models\ir\public\squeezenet1.1\FP16

运行后生成的xml文件和bin文件放到了：C:\Users\Bigtide\Documents\Intel\OpenVINO\openvino_models\ir\public\squeezenet1.1\FP16目录下：

 这里的内容已经在  4）配置模型优化器  中说明过了。

再次运行 demo_squeezenet_download_convert_run.bat即可成功。

6）运行图像检测验证整体环境

同样，进入：

C:\Program Files (x86)\Intel\openvino_2021.4.752\deployment_tools\demo

运行：demo_security_barrier_camera.bat

 运行结果：

 至此，环境已经搭好了，还有一点就是：

在执行脚本时，可以通过在命令后面加上 “-d 设备名“ 来指定硬件设备来加速推理。

OpenVINO支持的设备包括CPU、GPU、MYRIAD、和HDDL。其中MYRIAD指利用Intel神经计算棒做加速推理；HDDL指利用Intel视觉计算加速卡来推理。
如：

demo_security_barrier_camera.bat -d CPU

即表示使用cpu来进行推理。