热门标签
热门文章
- 1程序员如何赚到自己人生中的第一桶金？是100万还会是1000万，大家不妨一起探讨一下！...
- 2区块链钱包分类及BIP协议
- 3ubuntu 20.04 WIFI适配器找不到问题_ubuntu20.04无wifi adapter
- 4怎样利用PowerBulider的Datawindow建立中国式的动态报表_powerbuilder datawindow 图表
- 5【Kubernetes 系列】 一文带你吃透 K8S 中Pod 的生命周期_简述下k8s pod 生命周期
- 6Python之Selenium知识总结_python selenium
- 7Spring boot 自定义banner的在线制作
- 8人工智能之配置环境教程二：在Anaconda中创建虚拟环境安装GPU版本的Pytorch及torchvision并在VsCode中使用虚拟环境_conda下载torchvision
- 9python文件操作_python 文件操作
- 10一文解读，网络安全行业人才需求情况《网络安全产业人才发展报告》_网络安全人才需求分析
当前位置: article > 正文
docker编译TensorRT源码_autotuning format combination
作者：算法编织者 | 2024-02-03 18:35:01
赞
踩
autotuning format combination
docker编译TensorRT源码
1. 根据cuda，cudnn版本选择合适的源码
TensorRT源码地址：https://github.com/NVIDIA/TensorRT/tree/20.03
cuda10.2+cuda7.6.5: TensorRT最高支持的是TensoRT7.0.0
TensorRT7.1以上均需要cudnn8.0以上，找到合适的源码版本
git clone -b master https://github.com/nvidia/TensorRT TensorRT -b release/7.0
cd TensorRT
git submodule update --init --recursive
- 1
- 2
- 3
2. 下载下载TensorRT的核心库（tar包）
https://developer.nvidia.com/nvidia-tensorrt-7x-download
# 解压
tar -xvzf TensorRT-7.0.0.11.Ubuntu-18.04.x86_64-gnu.cuda-10.2.cudnn7.6.tar.gz
# 将解压得到的TensorRT-7.0.0.11，复制到上面下载好的源码TensoRT
# 建议把复制好的代码，一并复制到创建的/opt/TensorRT7
- 1
- 2
- 3
- 4
3.编译TensorRT源码
# 进入复制到的代码路径，/opt/TensorRT7/TensorRT
export TRT_SOURCE=`pwd`
export TRT_RELEASE=`pwd`/TensorRT-7.0.0.11
export TENSORRT_LIBRARY_INFER=$TRT_RELEASE/targets/x86_64-linux-gnu/lib/libnvinfer.so.7
export TENSORRT_LIBRARY_INFER_PLUGIN=$TRT_RELEASE/targets/x86_64-linux-gnu/lib/libnvinfer_plugin.so.7
export TENSORRT_LIBRARY_MYELIN=$TRT_RELEASE/targets/x86_64-linux-gnu/lib/libmyelin.so
- 1
- 2
- 3
- 4
- 5
- 6
在正式编译之前，查看TensorRT/Cmakelist.txt中的CUDA和CUDNN版本是否正确。
执行编译
# gcc，g++版本不能高于8，ubuntu20.04是gcc9， 需要降级
mkdir -p build && cd build
cmake .. -DTRT_LIB_DIR=$TRT_RELEASE/lib -DTRT_OUT_DIR=`pwd`/out
make -j$(nproc)
- 1
- 2
- 3
- 4
出现如下报错
-- Using src='https://github.com/google/protobuf/releases/download/v3.0.0/protobuf-cpp-3.0.0.tar.gz'
CMake Error at third_party.protobuf-stamp/download-third_party.protobuf.cmake:159 (message):
Each download failed!
error: downloading 'https://github.com/google/protobuf/releases/download/v3.0.0/protobuf-cpp-3.0.0.tar.gz' failed
status_code: 1
status_string: "Unsupported protocol"
log:
--- LOG BEGIN ---
Protocol "https" not supported or disabled in libcurl
Closing connection -1
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
解决：
（1）下载依赖包：https://link.zhihu.com/?target=https%3A//github.com/google/protobuf/releases/download/v3.0.0/protobuf-cpp-3.0.0.tar.gz
（2）将protobuf-cpp-3.0.0.tar.gz复制到项目的**/build/third_party.protobuf/src/**路径下；
（3）修改下载文件
打开项目路径下的/build/third_party.protobuf/src/third_party.protobuf-stamp/download-third_party.protobuf.cmake
将个**if(EXISTS)**一直到该文件最后一行全部删掉；
进行完上述三步之后，重新执行命令：make -j$(nproc)，继续开始编译，如果顺畅的话应该能全部编译完成
4. 测试
进入/TensorRT-7.0.0.11/python# ,安装tensorrt的python接口
root@53737c0fc560:/opt/TensorRT7/TensorRT/TensorRT-7.0.0.11/python# ls
tensorrt-7.0.0.11-cp27-none-linux_x86_64.whl tensorrt-7.0.0.11-cp36-none-linux_x86_64.whl
tensorrt-7.0.0.11-cp34-none-linux_x86_64.whl tensorrt-7.0.0.11-cp37-none-linux_x86_64.whl
tensorrt-7.0.0.11-cp35-none-linux_x86_64.whl
python3.6 -m pip install tensorrt-7.0.0.11-cp36-none-linux_x86_64.whl
- 1
- 2
- 3
- 4
- 5
- 6
设置环境变量：
>>> import tensorrt
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/usr/local/lib/python3.6/dist-packages/tensorrt/__init__.py", line 1, in <module>
from .tensorrt import *
ImportError: libnvinfer.so.7: cannot open shared object file: No such file or directory
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/TensorRT7/TensorRT/TensorRT-7.0.0.11/targets/x86_64-linux-gnu/lib/
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/TensorRT7/TensorRT/build/
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
root@8069c274e477:/opt/TensorRT7/TensorRT/TensorRT-7.0.0.11/python# python3
Python 3.7.5 (default, Nov 7 2019, 10:50:52)
[GCC 8.3.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import tensorrt as trt
>>> print(trt.__version__)
7.0.0.11
>>>
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
安装其他python下面的whl文件
python3.7 -m pip install graphsurgeon-0.4.1-py2.py3-none-any.whl
python3 -m pip install graphsurgeon-0.4.1-py2.py3-none-any.whl
python3 -m pip install pycuda
- 1
- 2
- 3
如果是docker部署，可以把TensorRT源码和tar包，放到opt路径，重新编译，这样就不依赖docker外的文件
cd /opt/TensorRT7/TensorRT/TensorRT-7.0.0.11/samples # 编译samples CUDNN_INSTALL_DIR=/usr/local/cuda/ make -j8 # 生成的可执行文件在/opt/TensorRT7/TensorRT/TensorRT-7.0.0.11/bin root@50a0f0e0e2a0:/opt/TensorRT7/TensorRT/TensorRT-7.0.0.11/bin# ls chobj sample_googlenet sample_mnist_api_debug sample_plugin sample_uff_mnist common sample_googlenet_debug sample_mnist_debug sample_plugin_debug sample_uff_mnist_debug dchobj sample_int8 sample_movielens sample_reformat_free_io sample_uff_plugin_v2_ext giexec sample_int8_api sample_movielens_debug sample_reformat_free_io_debug sample_uff_plugin_v2_ext_debug sample_char_rnn sample_int8_api_debug sample_movielens_mps sample_ssd sample_uff_ssd sample_char_rnn_debug sample_int8_debug sample_movielens_mps_debug sample_ssd_debug sample_uff_ssd_debug sample_dynamic_reshape sample_mlp sample_nmt sample_uff_faster_rcnn trtexec sample_dynamic_reshape_debug sample_mlp_debug sample_nmt_debug sample_uff_faster_rcnn_debug trtexec_debug sample_fasterRCNN sample_mnist sample_onnx_mnist sample_uff_mask_rcnn sample_fasterRCNN_debug sample_mnist_api sample_onnx_mnist_debug sample_uff_mask_rcnn_debug
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
运行测试：
root@50a0f0e0e2a0:/opt/TensorRT7/TensorRT/TensorRT-7.0.0.11/bin# ./sample_char_rnn &&&& RUNNING TensorRT.sample_char_rnn # ./sample_char_rnn [05/24/2021-17:20:05] [I] Building and running a GPU inference engine for Char RNN model... [05/24/2021-17:20:05] [I] Done reading weights from file... [05/24/2021-17:20:05] [I] Done constructing network... [05/24/2021-17:20:05] [V] [TRT] Applying generic optimizations to the graph for inference. [05/24/2021-17:20:05] [V] [TRT] Original: 6 layers [05/24/2021-17:20:05] [V] [TRT] After dead-layer removal: 6 layers [05/24/2021-17:20:05] [V] [TRT] After Myelin optimization: 6 layers [05/24/2021-17:20:05] [V] [TRT] After scale fusion: 6 layers [05/24/2021-17:20:05] [V] [TRT] After vertical fusions: 6 layers [05/24/2021-17:20:05] [V] [TRT] After final dead-layer removal: 6 layers [05/24/2021-17:20:05] [V] [TRT] After tensor merging: 6 layers [05/24/2021-17:20:05] [V] [TRT] After concat removal: 6 layers [05/24/2021-17:20:05] [V] [TRT] Graph construction and optimization completed in 0.00174117 seconds. [05/24/2021-17:20:07] [V] [TRT] Constructing optimization profile number 0 out of 1 *************** Autotuning format combination: -> Float(1,512,33280) *************** [05/24/2021-17:20:07] [V] [TRT] *************** Autotuning format combination: -> Float(1,1,65) *************** [05/24/2021-17:20:07] [V] [TRT] *************** Autotuning format combination: Float(1,512,512), Float(1,512,1024), Float(1,512,1024), Int32(1) -> Float(1,512,512), Float(1,512,1024), Float(1,512,1024) *************** [05/24/2021-17:20:07] [V] [TRT] --------------- Timing Runner: (Unnamed Layer* 0) [RNN] (RNNv2) [05/24/2021-17:20:07] [V] [TRT] Tactic: 0 is the only option, timing skipped [05/24/2021-17:20:07] [V] [TRT] Fastest Tactic: 0 Time: 0 [05/24/2021-17:20:07] [V] [TRT] *************** Autotuning format combination: Float(1,512,33280), Float(1,512,512) -> Float(1,1,65) *************** [05/24/2021-17:20:07] [V] [TRT] --------------- Timing Runner: (Unnamed Layer* 2) [Matrix Multiply] (MatrixMultiply) [05/24/2021-17:20:07] [V] [TRT] Tactic: 0 is the only option, timing skipped [05/24/2021-17:20:07] [V] [TRT] Fastest Tactic: 0 Time: 0 [05/24/2021-17:20:07] [V] [TRT] *************** Autotuning format combination: Float(1,1,65), Float(1,1,65) -> Float(1,1,65) *************** [05/24/2021-17:20:07] [V] [TRT] --------------- Timing Runner: (Unnamed Layer* 4) [ElementWise] (ElementWise) [05/24/2021-17:20:07] [V] [TRT] Tactic: 1 time 0.004832 [05/24/2021-17:20:07] [V] [TRT] Tactic: 2 time 0.006144 [05/24/2021-17:20:07] [V] [TRT] Fastest Tactic: 1 Time: 0.004832 [05/24/2021-17:20:07] [V] [TRT] *************** Autotuning format combination: Float(1,1,65) -> Float(1,1,1), Int32(1,1,1) *************** [05/24/2021-17:20:07] [V] [TRT] --------------- Timing Runner: (Unnamed Layer* 5) [TopK] (TopK) [05/24/2021-17:20:07] [V] [TRT] Tactic: 0 time 0.00688 [05/24/2021-17:20:07] [V] [TRT] Tactic: 1 time 0.012288 [05/24/2021-17:20:07] [V] [TRT] Tactic: 3 time 0.009952 [05/24/2021-17:20:07] [V] [TRT] Tactic: 2 time 0.026624 [05/24/2021-17:20:07] [V] [TRT] Fastest Tactic: 0 Time: 0.00688 [05/24/2021-17:20:07] [V] [TRT] Formats and tactics selection completed in 0.0161162 seconds. [05/24/2021-17:20:07] [V] [TRT] After reformat layers: 6 layers [05/24/2021-17:20:07] [V] [TRT] Block size 33554432 [05/24/2021-17:20:07] [V] [TRT] Block size 2048 [05/24/2021-17:20:07] [V] [TRT] Block size 512 [05/24/2021-17:20:07] [V] [TRT] Total Activation Memory: 33556992 [05/24/2021-17:20:07] [I] [TRT] Detected 4 inputs and 3 output network tensors. [05/24/2021-17:20:07] [V] [TRT] Engine generation completed in 2.03795 seconds. [05/24/2021-17:20:07] [V] [TRT] Engine Layer Information: [05/24/2021-17:20:07] [V] [TRT] Layer(Constant): (Unnamed Layer* 1) [Constant], Tactic: 0, -> (Unnamed Layer* 1) [Constant]_output[Float(65,512)] [05/24/2021-17:20:07] [V] [TRT] Layer(Constant): (Unnamed Layer* 3) [Constant], Tactic: 0, -> (Unnamed Layer* 3) [Constant]_output[Float(65,1)] [05/24/2021-17:20:07] [V] [TRT] Layer(RNN): (Unnamed Layer* 0) [RNN], Tactic: 0, data[Float(1,512)], hiddenIn[Float(2,512)], cellIn[Float(2,512)], seqLen[Int32()] -> RNN output[Float(1,512)], hiddenOut[Float(2,512)], cellOut[Float(2,512)] [05/24/2021-17:20:07] [V] [TRT] Layer(MatrixMultiply): (Unnamed Layer* 2) [Matrix Multiply], Tactic: 0, (Unnamed Layer* 1) [Constant]_output[Float(65,512)], RNN output[Float(1,512)] -> Matrix Multiplicaton output[Float(65,1)] [05/24/2021-17:20:07] [V] [TRT] Layer(ElementWise): (Unnamed Layer* 4) [ElementWise], Tactic: 1, Matrix Multiplicaton output[Float(65,1)], (Unnamed Layer* 3) [Constant]_output[Float(65,1)] -> Add Bias output[Float(65,1)] [05/24/2021-17:20:07] [V] [TRT] Layer(TopK): (Unnamed Layer* 5) [TopK], Tactic: 0, Add Bias output[Float(65,1)] -> (Unnamed Layer* 5) [TopK]_output_1[Float(1,1)], pred[Int32(1,1)] [05/24/2021-17:20:07] [W] [TRT] Current optimization profile is: 0. Please ensure there are no enqueued operations pending in this context prior to switching profiles [05/24/2021-17:20:07] [I] RNN warmup sentence: JACK [05/24/2021-17:20:07] [I] Expected output: INGHAM: What shall I [05/24/2021-17:20:07] [I] Received: INGHAM: What shall I &&&& PASSED TensorRT.sample_char_rnn # ./sample_char_rnn
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
参考：
https://zhuanlan.zhihu.com/p/346307138
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/blog/article/detail/57598
推荐阅读
- 大家好，我是Leo哥Docker|使用DockerComposeDocker|使用DockerCompose✅作者简介：大家好，我是Leo，热爱Java后端开发者，一个想要与大家共同进步的男人... [详细]
赞
踩
- Dockerfile是一个用来构建镜像的文本文件，文本内容包含了一条条构建镜像所需的指令和说明。_启动docker启动dockerDocker教程1.Docker的优点2.UbuntuDocker安装3.Docker使用3.1DockerH... [详细]
赞
踩
- DockerDesktop是一款用于在桌面环境下开发、构建和容器化应用程序的工具。它适用于Windows和Mac操作系统，让开发人员可以轻松地在本地环境中创建和运行容器，并与DockerHub和其他容器注册表进行交互。DockerDeskt... [详细]
赞
踩
大家好，我是Leo哥Docker|使用Dockerfile制作镜像✅作者简介：大家好，我是Leo，热爱Java后端开发者，一个想要与大家共同进步的男人... [详细]赞
踩
- Dockerrun命令是在Docker中创建和运行容器的主要命令之一。它允许根据需要配置容器的各种属性。下面是dockerrun命令的一些常见用法和示例，我们共同学习。_dockerrun参数dockerrun参数文章目录0.前言docke... [详细]
赞
踩
- 要删除已存在的Docker镜像，您可以使用dockerrmi命令。以下是完整的流程。_docker删除镜像docker删除镜像要删除已存在的Docker镜像，您可以使用dockerrmi命令。以下是完整的流程步骤1：停止容器如容器正在运行需... [详细]
赞
踩
- article
【2023最新版】Win11: WSL（Ubuntu22.04）使用docker远程容器教程（Windows的Docker Desktop下载安装、迁移到非系统盘、配置国内镜像源、设置 WSL2）_wsl docker
在Windows系统上安装和配置DockerDesktop，包括安装准备工作（WSL和Docker简介），DockerDesktop的安装和配置（包括迁移到非系统盘和配置国内镜像源），在Windows的DockerDesktop上设置WSL... [详细]赞
踩
- article
【已解决】Linux中启动docker 出现 ‘ Failed to start docker.service: Unit not found. ’ 错误_failed to start docker.service: unit docker.socket
启动docker出现‘Failedtostartdocker.service:Unitnotfound.’错误这是因为缺少rhel-push-plugin.socket单元，该单元是rhel-push-plugin软件包的一部分。执行完成后... [详细]赞
踩
- 如何使用IDEA安装docker插件完成镜像制作并推送到dockerhub和阿里云容器管理_ideadocker阿里云ideadocker阿里云学习如何本地制作镜像推送到远程仓库管理，希望可以帮到有需要的人准备工作： ... [详细]
赞
踩
- OUT/target目录下的东西没有删除，导致有的so是Glibc_2.33编译，但是18.0.4是没有这个库的。问题的原因是，我最开始使用的Ubuntu22.0.4编译的，后来又用docker18.0.4编译，删除OUT/target下的... [详细]
赞
踩
- 如果希望在CentOS操作系统上安装Docker，请确定你需要安装的操作系统满足安装要求，然后请参考安装Docker页面中的内容。安装要求操作系统（OS）要求要在CentOS上安装Docker，最低的操作系统版本需要为CentOS7。其他的... [详细]
赞
踩
- Centos8使用docker安装软件教程：jdk、nginx、nacos、redis、SentinelDashboard_centos8jdkcentos8jdk目录一、安装软件（1）全部安装命令（2）安装：jdk（3）安装：nginx&... [详细]
赞
踩
- 在介绍那些古怪名词之前，我先介绍一下。_hypervisordockerhypervisordockerDocker、 Kubernetes容器以及Hypervisor的区别参考链接：1、https://blog.csdn.net... [详细]
赞
踩
- 自定义网络是经某些服务集中，可以通过服务名相互访问。如果不用服务名需要写死容器IP，但是容器IP可能会变化，这样可能导致某些服务访问不到。案例实操#创建自定义网络dockernetworkcreatecustom_network在同一个网络... [详细]
赞
踩
- gin管理k8s_go-clientwindowsdockerk8s如何用代码连接go-clientwindowsdockerk8s如何用代码连接1、创建ServiceAccount账户vimadmin-account.yamlapiVer... [详细]
赞
踩
- 使用docker-compose部署elasticsearch3节点集群+1个kibana服务。_docker-compose部署esdocker-compose部署es参考资料http://www.baiyp.ren/elasticsea... [详细]
赞
踩
基于角色的访问控制：用户与Docker镜像仓库通过“项目”进行组织管理，一个用户可以对多个镜像仓库在同一命名空间（project）里由不同的权限。镜像复制：镜像可以在多个Registry实例中复制（同步）。尤其适合于负载均衡，高可用，混合云... [详细]赞
踩
- DockerCompose的前身是Fig，Fig被Docker收购之后正式更名为Compose，Compose向下兼容FigDockerCompose是一个用于定义和运行多容器Docker应用的工具，只需要一个Compose的配置文件和一个... [详细]
赞
踩
- 由于harbor的环境依赖docker和docker-compose工具，所以在搭建harbor私有仓库之前需先安装docker和docker-compose。解压harbor安装包到的harbor目录，进入harbor目录，修改harbo... [详细]
赞
踩
- 在之前的文章中我们已经为大家介绍了dockerregistryv2私有镜像仓库，在实际的企业级生产环境中实际上很少会直接使用dockerregistryv2，而是使用Harbor。Harbor基于dockerregistryv2的基础上为用... [详细]
赞
踩
相关标签
