python onnx 快捷安装 onnxruntime 的 gpu 版本 如何使用_gpu版本onnx pom.xml

快捷安装cpu版本的onnx

这样子就能装上cpu版本的：

pip install scipy onnx-simplifier
1

onnx-simplifier项目地址：
https://github.com/daquexian/onnx-simplifier

setup.py中写的：

所以正常来说需要这么安装：

pip install onnx onnxoptimizer onnxruntime-gpu protobuf
1

如何使用onnxruntime 的 gpu版本

cuda和onnxruntiem对应：https://onnxruntime.ai/docs/execution-providers/CUDA-ExecutionProvider.html

参考：https://stackoverflow.com/questions/64452013/how-do-you-run-a-onnx-model-on-a-gpu

Step 1: uninstall your current onnxruntime

pip uninstall onnxruntime
1

Step 2: install GPU version of onnxruntime environment

pip install onnxruntime-gpu
1

Step 3: Verify the device support for onnxruntime environment

>> import onnxruntime as rt
>> rt.get_device()
'GPU'
1
2
3

Step 4: If you encounter any issue please check with your cuda and CuDNN versions, that must be compatible to each other. Please refer this link here to understand about the version compatibility between cuda and CuDNN.

rt.get_device()获取到的是安装的onnxruntime版本，但实际使用中需要注意兼容性，这才是重点。如果onnxruntime版本不兼容cuda，那还是会默认使用CPU版本。

GPU

代码中加断点，就可以看到自己当前的 onnxruntime session使用的是什么：

>>detector.session.get_providers()
['CPUExecutionProvider']
1
2

这里是官网的说明：

https://onnxruntime.ai/docs/execution-providers/CUDA-ExecutionProvider.html

可知：

所以我执行了：

pip uninstall onnxruntime-gpu
pip install onnxruntime-gpu==1.4
1
2

所以我再次查看：

>>detector.session.get_providers()
['CUDAExecutionProvider', 'CPUExecutionProvider']
1
2

2080Ti CUDA10.1 的安装方式

这样就完美了：

pip install scipy  onnx onnxoptimizer onnxruntime-gpu==1.4 protobuf
1