三、Ollama导入大模型（.Net8+SemanticKernel+Ollama）本地运行自己的大模型_ollama导入本地模型

Ollama可以导入官方提供的大模型，也可以导入huggingface上的自定义大模型（国内镜像https://hf-mirror.com/）。

一、导入Ollama大模型

可以上Ollama官网搜索想要导入的大模型（https://ollama.com/library）

1、使用run命令

然后使用命令导入

ollama run llama3
或者
ollama run phi3
1
2
3

等待下载完成，即可。

2、使用Modelfile方式

使用ollama的pull命令，拉取大模型到本地

ollama pull phi3
1

然后创建一个后缀为phi3.Modelfile的文件，文件内容如下：

FROM phi3

# set the temperature to 1 [higher is more creative, lower is more coherent]
PARAMETER temperature 1

# set the system message
SYSTEM """
You are Mario from Super Mario Bros. Answer as Mario, the assistant, only.
"""
1
2
3
4
5
6
7
8
9

创建好文件后，使用ollama的create命令导入。

ollama create phi3 -f ./phi3.Modelfile
ollama run phi3
1
2

二、导入自定义大模型（Ollama官网以外的大模型）

导入自定义gguf（Safetensors大模型为测试成功，待后续测试）大模型，需要使用Modelfile方式导入。
例如需要导入llava大模型：
1、在huggingface国内镜像上搜索到大模型

然后在模型文件后面的下载图标上，点击右键，点击“复制链接地址”。
然后将大模型文件下载到ollama服务器上。

下载命令：

curl https://hf-mirror.com/xtuner/llava-llama-3-8b-v1_1-gguf/resolve/main/llava-llama-3-8b-v1_1-f16.gguf?download=true
1

下载完成后，创建llava.Modelfile文件，文件内容：

FROM /home/llava-llama-3-8b-v1_1-f16.gguf
TEMPLATE """[INST] <>{{ .System }}<>

{{ .Prompt }} [/INST]
"""
# 设定温度参数为1 [更高的更具有创新性，更低的更富有连贯性]
PARAMETER temperature 1.0
PARAMETER top_k 100
PARAMETER top_p 1.0
PARAMETER stop "[INST]"
PARAMETER stop "[/INST]"
PARAMETER stop "<>"
PARAMETER stop "<>"
SYSTEM """
你是可以与梵高相比的绘画大师
"""
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

创建好文件后，使用ollama的create命令导入。

ollama create llava -f ./llava.Modelfile
ollama run llava
1
2

三、使用OpenWebUI导入大模型

前提已经在OpenWebUI中配置好了Ollama。

在OpenWebUI中点击 工作空间 》创建模型文件 然后填入相应的内容。

“内容” 和上一个方法中Modelfile文件中的内容一样。然后点击“保存并创建”，等待下载完成，即可使用。