ollama运行自定义模型_ollama gguf

ollama有默认的模型，那么怎么运行自定义模型，自己选择下载模型，然后运行呢

下面说下自定义模型的运行

1. 首先下载模型文件 

ollama 可以直接加载gguf文件后缀的模型这些模型，你可以通过下面两个站点搜索即可。

https://huggingface.co/models 比如搜索 千问 qwen gguf

然后选择 Files and versions 选择对应模型的下载

2. 配置路径

比如下载到路径  E:\model\xxx.gguf

那么 在同级目录下创建一个model.txt 内容如下：

FROM E:\model\xxx.gguf

3.通过ollama 加载模型

通过命令行进入到模型文件目录

运行 ollama create [xxxname] -f model.txt

ollama会自动编译装载模型 ,这里的xxxname 是对于你下载模型在ollama 中自定义名称

4. 运行模型

上面加载完毕后，可以通过命令 ollama list 查看你的所有模型

运行你的模型： ollama run [xxxname]即可。

5. 备注

GGUF(Georgi Gerganov Unifed Format)是llama.cpp提出的一种格式标准，用于储存模型的tokenizer & weight & vocab & hyparameters，其表现形式为一个二进制文件，例如gml-model-f16.gguf

用Ollama show 命令访问模型文件以了解其结构和参数。可以使用 ollama help show 查看相关命令的使用帮助。

ollama show llama2:latest --modelfile
# Modelfile generated by "ollama show"
# To build a new Modelfile based on this one, replace the FROM line with:
# FROM llama2:latest

FROM C:\Users\Administrator\.ollama\models\blobs\sha256-8934d96d3f08982e95922b2b7a2c626a1fe873d7c3b06e8e56d7bc0a1fef9246
TEMPLATE """[INST] <<SYS>>{{ .System }}<</SYS>>

{{ .Prompt }} [/INST]
"""
PARAMETER stop "[INST]"
PARAMETER stop "[/INST]"
PARAMETER stop "<<SYS>>"
PARAMETER stop "<</SYS>>"

复制原始模型文件以创建自定义版本，下面以复制 llama2:latest 的模型文件为例。

ollama show llama2:latest --modelfile > myllama2.modelfile