赞
踩
本指南将介绍如何在 Ollama 中导入 GGUF、PyTorch 或 Safetensors 模型。
首先创建一个 Modelfile。该文件是模型的蓝图,用于指定权重、参数、提示模板等。
示例 Modelfile:
FROM ./mistral-7b-v0.1.Q4_0.gguf
TEMPLATE "[INST] {{ .Prompt }} [/INST]"
使用 Modelfile 创建一个模型:
ollama create example -f Modelfile
使用以下命令测试模型:
ollama run example "你最喜欢的调味品是什么?"
从 PyTorch 和 Safetensors 导入模型的过程比导入 GGUF 更长,改进工作正在进行中。
首先,克隆 Ollama 仓库:
git clone git@github.com:ollama/ollama.git ollama
cd ollama
然后获取其 llama.cpp 子模块:
git submodule init
git submodule update llm/llama.cpp
接下来,安装 Python 依赖项:
python3 -m venv llm/llama.cpp/.venv
source llm/llama.cpp/.venv/bin/activate
pip install -r llm/llama.cpp/requirements.txt
然后构建量化工具:
make -C llm/llama.cpp quantize
如果模型目前托管在 HuggingFace 仓库中,首先克隆该仓库以下载原始模型。
安装 Git LFS,验证安装,然后克隆模型仓库:
git lfs install
git clone https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.1 model
注意:某些模型架构需要使用特定的转换脚本。例如,Qwen 模型需要运行 convert-hf-to-gguf.py
而不是 convert.py
python llm/llama.cpp/convert.py ./model --outtype f16 --outfile converted.bin
llm/llama.cpp/quantize converted.bin quantized.bin q4_0
接下来,为你的模型创建一个 Modelfile:
FROM quantized.bin
TEMPLATE "[INST] {{ .Prompt }} [/INST]"
使用 Modelfile 创建一个模型:
ollama create example -f Modelfile
使用以下命令测试模型:
ollama run example "你最喜欢的调味品是什么?"
发布模型处于早期 Alpha 阶段。如果你想将模型发布给他人,请按照以下步骤操作:
cat ~/.ollama/id_ed25519.pub | pbcopy
type %USERPROFILE%\.ollama\id_ed25519.pub
cat /usr/share/ollama/.ollama/id_ed25519.pub
接下来,将你的模型复制到你的用户名命名空间:
ollama cp example <your username>/example
注意:模型名称只能包含小写字母、数字和字符 .
, -
, 和 _
.
然后推送模型:
ollama push <your username>/example
发布后,你的模型将可以在以下地址访问:
https://ollama.com/<your username>/example
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。