简单使用ollama_ollama 使用

简单使用ollama

1 介绍

Ollama是一个开源的大型语言模型部署工具，它可以帮助用户快速在本地部署运行大模型。类似于Docker一样，仅仅用几行命令就可以运行一个大模型。

2 安装ollama

（1）参考网站

# 官网地址
https://ollama.com/

# Github地址
https://github.com/ollama/ollama

# 可使用的模型
https://ollama.com/library
1
2
3
4
5
6
7
8

（2）下载软件

# 下载地址
https://ollama.com/download
1
2

下载后一步步安装即可，自动会安装到C盘。

3 配置Ollama

由于Ollama在下载模型时，会自动下载到C盘，因此需要设置下载目录。方法如下：

设置模型下载路径

在环境变量中添加“OLLAMA_MODELS”，之后重启ollama，我把下载模型的目录设置在了"D:\ollama"目录下。

OLLAMA_MODELS
1

4 使用Ollama

使用帮助

ollama -h 
1

# 启动ollama
ollama serve

# 显示模型列表
ollama list
1
2
3
4
5

查看模型的信息

# 查看模型的
# '--license': 查看序列；
# '--modelfile'：查看模型文件；
# '--parameters'：查看模型参数；
# '--system'：查看模型系统；
# '--template'：查看模型模板
ollama show --modelfile qwen:0.5b
1
2
3
4
5
6
7

获取模型

# 拉取模型
ollama pull qwen:1.8b

# 推送模型
ollama push 
1
2
3
4
5

管理模型

# 拷贝一个模型
ollama cp qwen:0.5b my-qwen:0.5b

# 删除模型
ollama rm my-qwen:0.5b
1
2
3
4
5

运行模型

⚠️ 最常用，如果没有模型，会自动下载模型，默认的端口号是“11434”

ollama run qwen:0.5b 
1

使用生成的API访问

curl http://localhost:11434/api/generate -d '{
  "model": "qwen:0.5b",
  "prompt": "Why is the sky blue?",
  "stream": false
}'
1
2
3
4
5

使用对话的API访问

返回的是对话流。

curl http://localhost:11434/api/chat -d '{
  "model": "qwen:0.5b",
  "messages": [
    { 
        "role": "user", 
        "content": "why is the sky blue?" 
    }
  ]
}'
1
2
3
4
5
6
7
8
9

5 下载Qwen例子

（1）查找可用模型

# 可使用的模型
https://ollama.com/library
1
2

可以在模型库上查找需要的模型。

（2）下载Qwen1.5模型

在ollama的模型库上选择“qwen"

# Ollama上的仓库地址
https://ollama.com/library/qwen
1
2

选择简单的

ollama run qwen:0.5b
1