llama-cpp-python CUDA error问题_ollama运行报cuda

作者：不正经 | 2024-04-14 11:00:38

踩

ollama运行报cuda

安装完 cuBLAS(CUDA) 版本的 llama-cpp-python

CMAKE_ARGS="-DLLAMA_CUBLAS=on" pip install llama-cpp-python
1

跑模型，指定 n_gpu_layers=-1 出现 CUDA error

CUDA error: the provided PTX was compiled with an unsupported toolchain.

拉取 llama.cpp 最新代码到本地，编译 cuBLAS 版本的动态库

make BUILD_SHARED_LIBS=1 LLAMA_CUBLAS=1 -j libllama.so
1

替换 llama-cpp-python python包中的 libllama.so (lib/python3.10/site-packages/llama_cpp/)

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/不正经/article/detail/421771