TensorRT基础_tensorrt并行推理

作者：2023面试高手 | 2024-03-18 07:40:36

踩

tensorrt并行推理

1. TensorRT的核心在于对模型算子的优化（合并算子、利用GPU特性选择特定核函数等）

2. tensorRT的模型需要在目标GPU上实际运行的方式选择最优算法和配置

3. tensorRT生成的模型只能在特定条件下运行（变异的trt版本、cuda版本、编译时的GPU型号）

4. 主要知识点为模型结构定义方式、编译过程配置、推理过程实现、插件实现、onnx理解

用pytorch（pth）—> onnx —> trt的工作路径，可移植性高。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/2023面试高手/article/detail/261409