vi /etc/systemd/system/ollama.service

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3

[Install]
WantedBy=default.target

5.启用服务

systemctl daemon-reload
systemctl enable ollama

6.启动Ollama

systemctl start ollama

7.更新Ollama

#重新下载二进制文件即可

curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama
chmod +x /usr/bin/ollama

8.删除Ollama

具体操作查看官方文档。

三、使用Ollama

3.1 配置模型下载路径

export OLLAMA_MODELS=/data/weisx/ollama

3.2 运行模型

#第一次执行会下载模型到本地

ollama run llama3

3.3 常用命令

创建模型：

ollama create mymodel -f ./Modelfile

删除模型：

ollama rm llama3

复制模型：

ollama cp llama3 my-model

查看模型：

ollama list

运行模型：

ollama run llama3

四、模型管理

4.1 官方模型库

可访问官网查看模型列表，以下是一些常用模型示例：

Model	Parameters	Size	Download
Llama 3	8B	4.7GB	`ollama run llama3`
Llama 3	70B	40GB	`ollama run llama3:70b`

4.2 导入自定义模型

途径1：从GGUF导入

1.下载GGUF文件

#Huggingface网站下载模型的GGUF

https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-8bit

2、创建Modelfile文件

vi Modelfile

#使用FROM指令导入本地模型

FROM ./Llama3-8B-Chinese-Chat-GGUF-8bit.gguf

#Modelfile文件中还可以添加系统提示词以及各项参数

3. 创建模型

ollama create example -f Modelfile

4.运行模型

ollama run example

途径2：从PyTorch或Safetensors导入

具体操作请参阅关于导入模型的指南。

五、REST API

https://github.com/ollama/ollama/blob/main/docs/api.md

六、Web UI

https://github.com/open-webui/open-webui

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/黑客灵魂/article/detail/936795