Ollama接入GLM或Baichuan2等本地LLM模型_ollama glm

安装配置Ollama
下载Ollama二进制文件，直接使用.sh安装网络太卡了，即便是开了代理也卡，故在此使用二进制安装。

sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama
sudo chmod +x /usr/bin/ollama
1
2

创建一个用户名为ollama：

sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama
1

创建一个自定义配置文件：

vi Modelfile
1

使用vi往里面输入，在此我用的是Baichuan2 13B Chat，为了保险起见采用绝对路径。

FROM /hy-tmp/Models/Baichuan2-13B-gguf/baichuan2-13b-chat.gguf
1

启动Ollama（本终端会一直被占用）

ollama start
1

新建一个连接终端，跑模型。

ollama create example -f Modelfile
ollama run example
1
2

由于我系统盘只有20G加载模型时候报错了，因此我做了一个映射（空间够忽略这条）

#在该路径下有个blobs目录
cd /root/.ollama/models
# 移动 blobs 目录
sudo mv /root/.ollama/models/blobs /hy-tmp/
# 在原来的位置创建一个符号链接我转存到了/hy-tmp/blobs
sudo ln -s /hy-tmp/blobs /root/.ollama/models/blobs
1
2
3
4
5
6

成功的效果图：