【个人开发】llama2部署实践（二）——基于GPU部署踩坑_ollama 启动gpu

折腾了一整天，踩了GPU加速的一堆坑，记录一下。

1.GPU加速方式

上篇已经写了llama2部署的大概流程：【【个人开发】llama2部署实践（一）】——基于CPU部署

针对llama.cpp文件内容，仅需再make的时候带上参数编译，既可实现GPU加速。

make LLAMA_CUBLAS=1
1

备注：可用的版本组合：
cc (GCC) 9.3.1 20200408 (Red Hat 9.3.1-2)
g++ (GCC) 9.3.1 20200408 (Red Hat 9.3.1-2)
Build cuda_11.8.r11.8/compiler.31833905_0

2.踩坑分享

a.编译报错

more than one instance of overloaded function “log2” matches the argument list:
复现不出来了，大意：function.h文件中，math函数中log参数传递有误。

思考一下，应该就是c文件的问题，文件路径在cuda中，评估应该是cuda版本的问题。选择卸载原来cuda12.04的版本，下载11.8版本。

b.卸载CUDA：

一通无脑卸载

yum remove nvidia-*
rpm -qa|grep -i nvid|sort
yum  remove kmod-nvidia-*

rm -rf /usr/local/cuda-12.0
rm -rf /usr/local/cuda
1
2
3
4
5
6

c.下载CUDA11.8

其他三种下载方式都试了，最后用run这种方式搞出来的。

# 访问https://developer.nvidia.com/cuda-downloads
# 使用run文件方式
wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.run
sudo sh cuda_11.8.0_520.61.05_linux.run
# 参考链接：https://zhuanlan.zhihu.com/p/589442446
1
2
3
4
5

run在执行的时候可能会出现报错：

The NVIDIA proprietary driver is already installed in this system. It was installed through a 3d party repository

意思是驱动已经装上去了，不需要再装。所以选择页面取消Driver的勾选，即可。
注：如果服务器使用nvidia-smi能显示显卡出信息，则说明已经安全驱动，我这里将Toolkit理解为一个客户端工具

d.重新编译llama.cpp

如何重新编译后带上ngl参数去跑main程序，留意一下有没有下面的warning。

warning: not compiled with GPU offload support, --n-gpu-layers option will be ignored
warning: see main README.md for information on enabling GPU BLAS support

如果有那说明仍然没有使用GPU，建议重新拉llama.cpp代码进行编译。

make LLAMA_CUBLAS=1
1

e.重新启动

./main -m /data/opt/llama2_model/llama-2-7b-bin/ggml-model-f16.bin -n 256 --repeat_penalty 1.1 --color -i -f prompts/alpaca.txt -ins -c 2048 --temp 0.2 -ngl 15
1

f.查看进程

使用下面命令能监听到进程，如果processes存在进程，即可！

watch -n 0.5 nvidia-smi
1

以上，End！