torch转onnx模型加速，onnx模型推理直接达到tensorRT速度，省去onnx转tensorRT的流程_onnx转tensorrt慢

完成torch转onnx后，直接基于onnx模型推理达到tensorRT速度~

最近在进行torch模型推理加速过程时，原本想的方案是torch转onnx再转tensorRT实现加速，但是在转完onnx，使用onnx模型验证推理效果时发现，可以直接通过设置onnx runtime 推理模型的provider参数，实现tensorRT的推理速度。

在未设置provider时速度很慢，我这默认应该用的是CPU。

通过以下方式修改为tensorRT引擎：

import onnxruntime as ort

onnx_model = ort.InferenceSession(landmark_gen_onnx_path, providers=['TensorrtExecutionProvider'])
1
2
3

我这边是直接就运行成功了，并且后面通过转完tensorRT模型后的速度验证，发现这种方式下比我自己转tensorRT模型再用tensorRT模型推理速度还快一点点。

provider 参数解释：
providers: Optional sequence of providers in order of decreasing precedence. Values can either be provider names or tuples of (provider name, options dict). If not provided, then all available providers are used with the default precedence.

可选参数为：‘TensorrtExecutionProvider’, ‘CUDAExecutionProvider’, ‘CPUExecutionProvider’，大概分别代表使用TensorRT，CUDA，CPU 执行。