极智AI | 谈谈推理引擎的推理组织流程_深度学习推理引擎工作流程

  本文主要讨论一下推理引擎的推理组织流程，包括 英伟达 tensorrt、华为 CANN 以及 TVM。

  对于用户和大多开发者来说，其实不用太关心推理引擎内部是怎么实现推理的，比如你在使用 tensorrt 的时候你只要知道使用流程，怎么去生成 Eng，怎么调用 Eng 去 doInference 就好了。但是你不好奇吗，它到底是怎么 create Eng，怎么 load Eng 去做 inference 的，Eng 到底是个什么东西，它也不能像 .pth、.cfg、.pb 一样用 netron 来直观可视化。这里我们就对 tensorrt、CANN、TVM 的推理组织流程展开讨论一下。

1、TensorRT

  tensorrt 是一个非常好用的高性能推理框架，它的使用方式主要有以下两种：

  （1）将 tensorrt 嵌入到成熟的 AI 框架中，如 TF-TRT、Torch-TRT、ONNX-TRT、TVM-TRT 等，大多做法是将 tensorrt 支持的算子优先以 tensorrt 的方式执行，tensorrt 不支持的算子回退到原框架执行；

  （2）直接使用 C++ API 或 Python API 去搭 tensorrt