深度学习系列8：openvino

1. 为什么使用openvino

openvino是intel开发的深度学习模型推理加速引擎，总体使用感觉就是方便，压缩后的模型再cpu上跑的速度可以媲美gpu（据称精度损失都小于5%）。另外，intel还在不断出配套的硬件，下半年要出货的keem bay性价比已经超越了现在的海康nnie（p.s. 这家的sdk极不友好）；使用openvino还有一个优点，就是openvino内置优化过的opencv，处理视频图像更方便。
openvino支持python和c++，下面以python环境为例进行搭建。当然了，java也是可以调用的，技巧就是使用opencv的java编译包。opencv中的深度学习模块支持调用openvino压缩的模型。

2. openvino基本步骤

首先要把训练好的各种模型转换为openvino的标准IR模型（包含一个xml文件和bin文件，分别是模型结构和模型参数），然后调用推理引擎去对输入文件进行预测。

2.1 安装openvino

最新版本可以直接用pip进行安装了，方便多了。
可以到这个页面选择按照的版本：https://www.intel.com/content/www/us/en/developer/tools/openvino-toolkit/download.html。 最新的安装命令为：

pip install openvino-dev[pytorch]==2022.1.0
1

网页上提供了模型下载、转换、量化、数据加载等一系列脚本。我们以下载为例，直接执行：

omz_downloader --all
1

omz_downloader在anaconda的bin目录下，如果pip版本大于21.3，可以直接使用，否则需要先export OMZ_ROOT

2.2 转换模型（旧版本）

转换脚本在deployment_tools/model_optimizer文件夹下，可以对caffe、tensorflow、onnx文件进行转换，参数为：
–input_model 要转换的模型
–output_dir 输出文件夹
–input shape 可选，可以调整输入影像的大小
–model_name 可选，自定义名称
–input 可选，输入层截断
–output 可选，输出层截断

注意pytorch的模型不能直接转，需要先转换成onnx格式：

from model import with_mobilenet
import onnx,torch
net = with_mobilenet.PoseEstimationWithMobileNet(is_convertible_by_mo=True)
net.load_state_dict((torch.load('human-pose-estimation-3d-0001.pth')))
dummy_input = torch.randn(1,3,256,448)
torch.onnx.export(net,dummy_input ,"pose.onnx")
1
2
3
4
5
6

然后再转为openvino模型

python /opt/intel/openvino/deployment_tools/model_optimizer/mo_onnx.py --input_model 模型地址.onnx
1

生成bin和xml两个文件

2.3 模型使用

C++调用步骤：

1. 加载插件
   InferenceEngine::InferencePlugin，被加载的设备为InferenceEngine::PluginDispatcher
2. 读入压缩模型
   InferenceEngine::CNNNetReader::ReadNetwork(“Model.xml”)
   InferenceEngine::CNNNetReader::ReadWeights(“Model.bin”)
3. 指定输入输出文件
   InferenceEngine::CNNNetwork::getInputsInfo()
   InferenceEngine::CNNNetwork::getOutputsInfo().
4. 开始工作
   4.1 将模型加载到插件中：调用方法InferenceEngine::InferencePlugin::LoadNetwork()，返回InferenceEngine::ExecutableNetwork
   4.2 建立请求：InferenceEngine::InferRequest::Ptr，InferenceEngine::ExecutableNetwork::CreateInferRequestPtr()
   4.3 加载输入：InferenceEngine::InferRequest::getBlob()，并做图形处理
   4.4 运行请求：InferenceEngine::InferRequest::Infer()；或者InferenceEngine::InferRequest::StartAsync()+InferenceEngine::InferRequest::Wait()
   4.5 获取输出：InferenceEngine::InferRequest::getBlob()

python调用步骤

1. 加载插件
   ie = IECore()
   ie.add_extension(os.getenv(‘INTEL_OPENVINO_DIR’)+‘/deployment_tools/inference_engine/lib/intel64/libcpu_extension.dylib’,device)
2. 读入模型
   net = IENetwork(model= modelpath+‘.xml’, weights=modelpath+‘.bin’)
3. 指定输入输出格式
   input_blob = next(iter(net.inputs))
   out_blob = next(iter(net.outputs))
4. 开始工作
   exec_net = ie.load_network(network=net, device_name=device)
   image = cv2.imread(imgpath)
   res = exec_net.infer(inputs={input_blob: image})
   综合如下

from openvino.inference_engine import IENetwork, IECore
model_xml = "*.xml"
model_bin = "*.bin"
device = 'CPU'
ie = IECore()
net = IENetwork(model=model_xml, weights=model_bin)
input_blob,out_blob,net.batch_size = next(iter(net.inputs)),next(iter(net.outputs)),1
n, c, h, w = net.inputs[input_blob].shape
exec_net = ie.load_network(network=net, device_name=device)
output = exec_net.infer(inputs={input_blob: cpux.numpy()})[out_blob]
output
1
2
3
4
5
6
7
8
9
10
11

使用opencv调用
这里要自己编译opencv包，带上WITH_INF_ENGINE=ON，然后使用dnn模块进行推断。

3. 性能对比

onnx的性能对比如下

onnx比原生模型稍慢一些，主要是因为数据精度问题，onnx是float32位，而原生模型是float16.

4. Open_model_zoo

这里有清单。

这里有如何使用的教程。

4.1 face recognition

我们挑选mobilefacenet来试下

首先下载模型：

python /opt/intel/openvino/deployment_tools/open_model_zoo/tools/downloader/downloader.py --name face-recognition-mobilefacenet-arcface
1

然后转换模型：

python /opt/intel/openvino/deployment_tools/model_optimizer/mo_mxnet.py --input_model model-y1-test2/model-0000.params --input_shape "[1,3,112,112]"
1

接下来就可以快乐的使用了，速度快得飞起，在cpu上4.52 ms ± 76.4 µs per loop。

from openvino.inference_engine import IENetwork, IECore
import cv2
model_xml = "facenet/model-0000.xml"
model_bin = "facenet/model-0000.bin"
ie = IECore()
net = IENetwork(model=model_xml, weights=model_bin)
input_blob,out_blob,net.batch_size = next(iter(net.inputs)),next(iter(net.outputs)),1
n, c, h, w = net.inputs[input_blob].shape
exec_net = ie.load_network(network=net, device_name='CPU')
x = cv2.imread('1.png')
x = cv2.resize(x,(112,112)).transpose([2, 0, 1])
output = exec_net.infer(inputs={input_blob:x })[out_blob]
exec_net.infer(inputs={input_blob:x })
1
2
3
4
5
6
7
8
9
10
11
12
13

4.2 body ReID

首先下载模型

python /opt/intel/openvino/deployment_tools/open_model_zoo/tools/downloader/downloader.py --name person-reid*
1

嗯，这个是intel的模型，不需要转换，都可以直接使用，最高精度耗时，感动哭了好吗 18.1 ms ± 460 µs per loop

from openvino.inference_engine import IENetwork, IECore
import cv2
path = 'person-reidentification-retail-0270'
model_xml = path+".xml"
model_bin = path+".bin"
ie = IECore()
net = IENetwork(model=model_xml, weights=model_bin)
input_blob,out_blob,net.batch_size = next(iter(net.inputs)),next(iter(net.outputs)),1
n, c, h, w = net.inputs[input_blob].shape
exec_net = ie.load_network(network=net, device_name='CPU')
x = cv2.imread('58.jpg')
x = cv2.resize(x,(128,256)).transpose([2, 0, 1])
output = exec_net.infer(inputs={input_blob:x })[out_blob]
exec_net.infer(inputs={input_blob:x })
1
2
3
4
5
6
7
8
9
10
11
12
13
14

4.3 age/gender prediction

模型参考如下：

同样，首先下载模型，同样是intel自有模型，很方便，直接用。

python /opt/intel/openvino/deployment_tools/open_model_zoo/tools/downloader/downloader.py --name age-gender*
1

推理代码如下，速度快到发指：1.39 ms ± 5.41 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

from openvino.inference_engine import IENetwork, IECore
import cv2
path = 'work/openvino/agegender/age-gender-recognition-retail-0013'
model_xml = path+".xml"
model_bin = path+".bin"
ie = IECore()
net = IENetwork(model=model_xml, weights=model_bin)
input_blob,out_blob,net.batch_size = next(iter(net.inputs)),next(iter(net.outputs)),1
n, c, h, w = net.inputs[input_blob].shape
exec_net = ie.load_network(network=net, device_name='CPU')
x = cv2.imread('work/openvino/agegender/1.png')
x = cv2.resize(x,(62,62)).transpose([2, 0, 1])
output = exec_net.infer(inputs={input_blob:x })[out_blob]
exec_net.infer(inputs={input_blob:x })
1
2
3
4
5
6
7
8
9
10
11
12
13
14

4.4 body and face detection

body使用person-detection-0102

python /opt/intel/openvino/deployment_tools/open_model_zoo/tools/downloader/downloader.py --name person-detection*
1

22.7 ms ± 1.01 ms per loop，速度快的飞起，它不香么。

from openvino.inference_engine import IENetwork, IECore
import cv2
path = 'work/openvino/bodydetection/person-detection-0102'
model_xml = path+".xml"
model_bin = path+".bin"
ie = IECore()
net = IENetwork(model=model_xml, weights=model_bin)
input_blob,out_blob,net.batch_size = next(iter(net.inputs)),next(iter(net.outputs)),1
n, c, h, w = net.inputs[input_blob].shape
exec_net = ie.load_network(network=net, device_name='CPU')
x = cv2.imread('work/openvino/bodydetection/0.png')
x = cv2.resize(x,(512,512)).transpose([2, 0, 1])
output = exec_net.infer(inputs={input_blob:x })[out_blob]
res = exec_net.infer(inputs={input_blob:x })[out_blob][0][0]
b = cv2.imread('work/openvino/bodydetection/0.png')
h,w = b.shape[:2]
for r in res:
    c,x1,y1,x2,y2 = r[2],r[3],r[4],r[5],r[6]
    if c>0.9:
        cv2.rectangle(b,(int(x1*w),int(y1*h)),(int(x2*w),int(y2*h)),(255,0,0),5)
cv2.imwrite('temp.jpg',b)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

face用face-detection-0105，也是快的飞起29.9 ms ± 530 µs

4.5 body segamentation

首先下载模型

python /opt/intel/openvino/deployment_tools/open_model_zoo/tools/downloader/downloader.py --name instance-segmentation-security-1025.xml

1
2

测试一下效果

from openvino.inference_engine import IENetwork, IECore
import cv2
path = 'instance-segmentation-security-1025'
model_xml = path+".xml"
model_bin = path+".bin"
ie = IECore()
net = IENetwork(model=model_xml, weights=model_bin)
exec_net = ie.load_network(network=net, device_name='CPU')
x = cv2.imread('1.png')
x = cv2.resize(x,(480,480)).transpose([2, 0, 1])
res = exec_net.infer(inputs={'im_data':x,'im_info':[1920,1080,1] })
1
2
3
4
5
6
7
8
9
10
11

结果一共有4个字段，可以分81类，其中类别1是人体。用时也不是非常高，cpu上可以跑到4fps。

from skimage import io
img = cv2.imread('1.png')
for r in res['boxes'][:1]:
    x1,y1,x2,y2 = r
    cv2.rectangle(img,(int(x1/480*1920),int(y1/480*1080)),(int(x2/480*1920),int(y2/480*1080)),(255,0,0),5)
io.imshow(img)

x1,y1,x2,y2 = res['boxes'][0]/480
x1=int(x1*1920)
y1=int(y1*1080)
x2=int(x2*1920)
y2=int(y2*1080)
src = img[y1:y2,x1:x2]
mask = (cv2.resize(res['raw_masks'][0][0],(x2-x1,y2-y1))<0.53).astype(np.int8)
io.imshow(cv2.bitwise_and(src,src,mask=mask)[:,:,::-1])
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

这里分别显示了检测框和框内的抠图。