tensorRT重要工具_onnx v6

一、参考资料

二、重要工具

1. netron网络解析工具

1. 下载并安装 netron

   sudo apt update
   sudo apt install snapd
   sudo snap install netron
   1
   2
   3

2. 查看网络结构，以 yolov5s.onnx 为例

   format: ONNX v6
   producer: pytorch 1.7
   imports: ai.onnx v12
   
   INPUTS
   name: images
   type: float32[1,3,640,640]  # 输入的尺寸
   
   OUTPUTS
   name: output
   type: float32[1,25200,85]
   1
   2
   3
   4
   5
   6
   7
   8
   9
   10
   11

3. 设置 input 设置

   network.get_input(0).shape = [1, 3, 640, 640]
   1

2. tiny-tensorRT

tiny-tensorRT

3. tensorRT 开源小工具

tensorRT tool

1. Polygraphy

   各种小工具的集合，例如比较ONNX和trt模型的精度，观察trt模型每层的输出等等，主要用来debug一些模型的信息。
   1

2. onnx-graphsurgeon

   修改我们导出的ONNX模型，增加或者剪掉某些节点，修改名字或者维度等。
   1

3. pytorch-quantization

   可以在Pytorch训练或者推理的时候加入模拟量化操作，从而提升量化模型的精度和速度，并且支持量化训练后的模型导出ONNX和TRT。
   1

   4. TF-TRT

   Accelerating Inference In TF-TRT User Guide