tritonserver学习之三：tritonserver运行流程_trition-server 使用教程

作者：weixin_40725706 | 2024-04-02 10:31:20

踩

trition-server 使用教程

1、triton启动运行流程

triton功能设计全面，而且复杂，下面是triton(2.41.0)启动的整个流程，在整个pipeline中，每个节点都需要去仔细的研究和学习，不仅能够学到关于异构计算的需要知识，而且还能学到c++很多精巧的设计，总流程如下：

在上述流程图中，每个节点基本都对应代码中的一个模块，比如命令行处理部分，主要有类：

triton::server::TritonParser

完成，命令行的设计、注册、解析等功能都在这个类里。

又比如模型管理器，其只要功能有类：

TritonRepoAgentManager

完成，这些代码基本都分布在：core代码中，是tritonserver的核心代码，后面对triton的学习和探索，基本就按照这个流程图进行，有全局，有局部，这样思路会比较清晰。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/weixin_40725706/article/detail/351810