实战YOLO V5推演（TensorRT版本 C++）_yolov5 v8 tensorrt c++推理

兜兜转转还是来到了C++，欠的债该还的得还，因此本篇文章试图从C++来撬动tensorrt 完成转换模型和推理，而不是借助python库

---

前言

希望本篇文章结束后，我能回答两个问题：

1. python不好用么，为什么还要转C++； yolov5的export.py 已经实现在python端的模型转化了啊？
   不需要c++的可以看这个《【深度学习】目标检测 yolov5模型量化安装教程以及转ONXX，torchscript，engine和速度比较一栏表》
2. C++的学习曲线那么陡峭，性能在服务器端不如go，所以为什么不是go？
   go 在服务器端性能牛，但是在终端设备不咋样，所以从这个角度，还是C++

---

一、Tensorrt前置

首先需要有个环境，搭建环境的指引《【深度学习】基于深度学习的linux服务器，需要搭建哪些服务，一步步搭建深度学习的环境，cuda，pytorch，opencv，ftp服务， nfs服务 docker等等》
文章很长，是深度学习的最大化安装，基于进入Tensorrt的操作，至少要安装显卡驱动，cuda，cudann，tensorrt，gpu的torch环境，并且他们之间的版本要匹配。老实说，新手直接绕道《【深度学习】目标检测 yolov5模型量化安装教程以及转ONXX，torchscript，engine和速度比较一栏表》
读到后面你会发现,我在模型转换的时候,踩了yolov的各种坑,你会看到我用yolov5的 tag7.0 tag6.1 tag6.2 都有问题.
尚不清楚是pytorch的版本问题,还是tensorrt的版本问题,我再量化那篇文章用的是pytorch1.8 没遇到问题.

1.1 Tensorrt基本概念

本章节你将了解TensorRT中的以下几个关键概念：Runtime、CudaEngine、ExecutionContext、与Binding。
1

在使用ONNX Runtime的Python API执行模型推演大致分四步：

1. 初始化：使用onnx格式存储的模型文件初始化 InferenceSession 。

2. 预处理：将输入数据做预处理。

3. 执行推演：调用 run 方法执行模型推演，获得模型输出。

4. 后处理：执行后处理逻辑。
   ‌
   TensorRT的推演与其类似，只是要更加复杂一些：

5. 模型准备：TensorRT使用私有模型格式，其它格式的模型文件如ONNX需要先完成转换才可以被使用。该转换过程可以通过调 用TensorRT的C++或者Python API来在线实现，也可以通过 trtexec 这个工具离线完成。

6. 初始化：包括初始化运行时 Runtime ，使用 Runtime 加载模型文件形成 CudaEngine ，再基于 CudaEngine 创建 ExecutionContext ；这三者组合起来可以大致等同为 ONNX Runtime中的 InferenceSession 。此外还需要按照模型的输入与输出规格分别申请CPU一侧的内存与GPU一侧的显存，指向这些存储区域的指针集合称为 Binding 。

7. 将输入数据做预处理，然后将其从CPU侧存储（内存）拷贝到GPU侧存储（显存）。

8. 调用 ExecutionContext 的enqueueV2 方法异步执行模型推演，然后调用 cudaStreamSynchronize 方法同步结果，获得模型输出。

9. 将输出结果从GPU侧存储（显存）拷贝到CPU侧存储（内存），然后执行后处理逻辑。

1.2 异步推演说明

TensorRT支持同步与异步推演，这里以异步推演作为说明实例。
1

与ONNX Runtime Python API的推演流程相比，TensorRT C++ API推演明显有着更加底层、更加细粒度的数据与流程控制。这些正是使用C++作为开发语言与Python相比所带来的主要区别。

接下来，你将通过YOLO v5这个实例来掌握TensorRT的实际使用过程。本章节所涉及到的概念都会出现在代码中，希望到时候你看到它们时不会感觉太陌生。

二、实战YOLO V5推演

本章节你将借助YOLO v5模型推演的完整代码掌握TensorRT C++ 推演API，以及将ONNX格式神经网络模型转换为TensorRT专用格式的具体方法。
1

YOLO v5是一款在物体检测领域颇为流行的神经网络模型。在这里我们不会深入探究其原理与设计，而将直接使用GitHub上的一款开源实现所生成的预训练模型。在此基础上，本章节展示了以下内容。

1. 使用TensorRT的 trtexec 工具将ONNX模型文件转换为TensorRT的Engine格式。
2. 使用CMake构建TensorRT工程。
3. 使用OpenCV实现输入图像读取与存储。
4. YOLO v5模型预处理与后处理。
5. 使用TensorRT实现YOLO v5模型推演。
   让我们开始吧！

1.TensorRT模型转换

首先下载YOLO v5预训练好的模型权重文件，其地址为：

https://github.com/ultralytics/yolov5/releases/download/v6.1/yolov5s.pt

然后遵循官方教程，导出ONNX格式模型：
代码如下（示例）：
在写一次吧，安装

pip install -r requirements.txt coremltools onnx onnx-simplifier onnxruntime-gpu openvino-dev tensorflow  # GPU
1

其实只需要onnx相关的，其它的有tf使用的，apple使用的opencv使用的，用不到 ，我这里偷个懒，安装少的

pip install -r requirements.txt onnx onnxruntime-gpu # GPU
1

上边这一步完成后，你应当获得一个ONNX格式模型文件 yolov5s.onnx 。
转换一版试一下：

 python export.py --weights weights/yolov5s.pt -- --include onnx engine

1
2

转化报错，原因是:https://onnxruntime.ai/docs/execution-providers/CUDA-ExecutionProvider.html,默认安装的1.13，匹配11.6的吗我的是11.4，换回来重新运行

接下来，使用如下命令将其转换为TensoRT格式模型文件。
还是报错

[8] Assertion failed: scales.is_weights() && "Resize scales must be an initializer!"
TensorRT: export failure ❌ 4.3s: failed to load ONNX file: weights/yolov5s.onnx
1
2

解决问题指引：
https://blog.csdn.net/zaf0516/article/details/122932651

snap install netron
pip install onnx-simplifier
pip install onnx_graphsurgeon --index-url https://pypi.ngc.nvidia.com
1
2
3

还是报错：
指引是改模型，我偷个懒，退一下版本 yolov5 tag6.2搞下来试一试，现在用的是最新的用于分割的tag7.0

都是相同的错误，先不改了，直接转onnx是可以的

python export.py --weights weights/yolov5s.pt --device 0 --include onnx
1

切換到6.1 上面報錯，解決指引
https://blog.csdn.net/Thebest_jack/article/details/124723687
然后转换engine

trtexec --onnx=weights/yolov5s.onnx --saveEngine=yolov5s.engine
1

问题出来了，不管用7.0 还是 6.1， 6.2 都报错

[12/07/2022-20:49:09] [E] [TRT] ModelImporter.cpp:776: --- End node ---
[12/07/2022-20:49:09] [E] [TRT] ModelImporter.cpp:779: ERROR: builtin_op_importers.cpp:3609 In function importResize:
[8] Assertion failed: scales.is_weights() && "Resize scales must be an initializer!"
[12/07/2022-20:49:09] [E] Failed to parse onnx file
[12/07/2022-20:49:09] [I] Finish parsing network model
[12/07/2022-20:49:09] [E] Parsing model failed
[12/07/2022-20:49:09] [E] Failed to create engine from model.
[12/07/2022-20:49:09] [E] Engine set up failed
&&&& FAILED TensorRT.trtexec [TensorRT v8205] # trtexec --onnx=weights/yolov5s.onnx --saveEngine=yolov5s.engine
1
2
3
4
5
6
7
8
9
10

python 命令和trtexec命令都报错

 trtexec --onnx=weights/yolov5s.onnx --saveEngine=yolov5s.engine
[12/07/2022-20:53:43] [E] [TRT] ModelImporter.cpp:776: --- End node ---
[12/07/2022-20:53:43] [E] [TRT] ModelImporter.cpp:779: ERROR: builtin_op_importers.cpp:3609 In function importResize:
[8] Assertion failed: scales.is_weights() && "Resize scales must be an initializer!"
[12/07/2022-20:53:43] [E] Failed to parse onnx file
[12/07/2022-20:53:43] [I] Finish parsing network model
[12/07/2022-20:53:43] [E] Parsing model failed
[12/07/2022-20:53:43] [E] Failed to create engine from model.
[12/07/2022-20:53:43] [E] Engine set up failed
&&&& FAILED TensorRT.trtexec [TensorRT v8205] # trtexec --onnx=weights/yolov5s.onnx --saveEngine=yolov5s.engine

1
2
3
4
5
6
7
8
9
10
11

python export.py --weights weights/yolov5s.pt --device 0 --include onnx engine
1

所以要替换模型了，明天见！

分割线,mmp今天阳性了,明天请了天假,今明两天搞定它!!!

restart 还是用yolov5 tag7.0
环境:
torch 1.12.1
torchaudio 0.12.1
torchvision 0.13.1
NVIDIA-SMI 470.63.01 Driver Version: 470.63.01 CUDA Version: 11.4
cuda:11.4
cudnn: cudann:cudnn-11.4-linux-x64-v8.2.4.15.tgz 8.2.4
tensorrt: 8.2.5.1

我会以这个环境为起点,试图debug,让他在yolov5的项目包python export.py 转onnx 和 engine都成功!
错误再现

(base) [root@localhost road_water_yolov5-7.0]# python export.py --weights weights/yolov5s.pt --device 0 --include onnx engine
export: data=data/coco128.yaml, weights=['weights/yolov5s.pt'], imgsz=[640, 640], batch_size=1, device=0, half=False, inplace=False, keras=False, optimize=False, int8=False, dynamic=False, simplify=False, opset=12, verbose=False, workspace=4, nms=False, agnostic_nms=False, topk_per_class=100, topk_all=100, iou_thres=0.45, conf_thres=0.25, include=['onnx', 'engine']
Unknown option: -C
usage: git [--version] [--help] [-c name=value]
           [--exec-path[=<path>]] [--html-path] [--man-path] [--info-path]
           [-p|--paginate|--no-pager] [--no-replace-objects] [--bare]
           [--git-dir=<path>] [--work-tree=<path>] [--namespace=<name>]
           <command> [<args>]
YOLOv5 
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/weixin_40725706/article/detail/136722?site