Ollama部署

1. llm sever

 curl -fsSL https://ollama.com/install.sh | sh
1

 ollama serve
1

 ollama pull gemma:2b
1

2. custom model

准备模型

（1） 安装llama.cpp

（2） 下载需要的模型（hf）

gguf model

（1）转换 model 为 ggml FP16 格式

python3 convert.py models/mymodel/
1

（2）[Optional] for models using BPE tokenizers

python convert.py models/mymodel/ --vocab-type bpe
1

（3）量化 model 到 4-bits (using Q4_K_M method)

./quantize ./models/mymodel/ggml-model-f16.gguf ./models/mymodel/ggml-model-Q4_K_M.gguf Q4_K_M
1

（4）update the gguf filetype to current version if older version is now unsupported

./quantize ./models/mymodel/ggml-model-Q4_K_M.gguf ./models/mymodel/ggml-model-Q4_K_M-v2.gguf COPY 
1

import ollama

（1）创建 Modelfile

FROM ./mistral-7b-v0.1.Q4_0.gguf

（2）导入Ollama model

ollama create llmc -f Modelfile

（3） 运行Ollama model

ollama run llmc "What is your favourite condiment?"

3. 局域网访问

首先打开Ollama的配置文件

sudo gedit /etc/systemd/system/ollama.service
1

在[Service]下面加上：

Environment="OLLAMA_HOST=0.0.0.0:11434"
1

其次配置防火墙，打开端口。Ollama的默认端口是11434，所以直接输入：

sudo ufw allow 11434/tcp
1

再重启之后，就可以通过http在局域网中访问了：

http://192.168.1.XX:11434
1

可以看到：

Ollama is running
1

就可以通过局域网或者另一台机子上的LangChain