【YOLOv5最新6.1在OpenCV DNN、OpenVINO、ONNXRUNTIME上推理对比】_openvino yolov5推理耗时

---

引言

我把YOLOv5最新版本的模型分别用OpenCV DNN（Python、C++）部署、OpenVINO（Python、C++）部署、ONNXRUNTIME-GPU（Python、C++）部署，然后还测试了CPU/GPU不同平台上的运行速度比较。

软件版本与硬件规格
测试用的硬件与软件信息：

GPU 1050Ti
CPU i7八代
OS：Win10 64位
OpenVINO2021.4
ONNXRUNTIME：1.4
OpenCV4.5.4
Python3.6.5
YOLOv5 6.1

使用的YOLOv5模型中的yolov5s.pt模型，转换为ONNX模型之后输入格式为：

NCHW = 1x3x640x640

最终输出层名称:output，格式：

NHW = 1x25200x85

YOLOv5推理速度比较

基于同一段视频文件，Python/C++代码测试结果比较如下：

说明： OpenCV DNN与OpenVINO是基于CPU测试的，ONNXRUNTIME是基于GPU版本测试的，ONNXRUNTIME的CPU版本我没有测试过。
贴几张运行时候的截图：

代码实现与说明

ONNX代码实现部分主要是参考了YOLOv5官方给出几个链接：

https://github.com/microsoft/onnxruntime/issues/10323
https://onnxruntime.ai/docs/execution-providers/CUDA-ExecutionProvider.html
https://github.com/microsoft/onnxruntime-inference-examples/blob/main/c_cxx/imagenet/main.cc

有一个特别坑的地方需要特别的注意：
ONNX C++的环境必须是全局变量，声明如下：

Ort::Env env = Ort::Env(ORT_LOGGING_LEVEL_ERROR, “YOLOv5”);

只有所有的推理图象执行完成才可以调用release进行释放，否则就会一直卡死，程序崩溃！ONNX其它的部分的代码实现基本实现了跟DNN/OpenVINO推理后处理代码的完全复用！相关代码建议参考之前的两篇推文：

OpenCV4.5.x DNN + YOLOv5 C++推理
OpenCV4.5.4 直接支持YOLOv5 6.1版本模型推理

特别说明： 怎么没有TensorRT/？主要是因为我电脑安装了CUDA10.1版本+TensorRT7.0的不兼容，我又不想再折腾重新安装CUDA10.0，所以暂无！等我新笔记本到货立刻补上这一缺失！

分类: CNN–目标检测网络–>>yolov5