基于ollama的Llama3安装部署使用_ollama llama3

ollama——快速上手Llama3

1. ollama安装

#Linux
curl -fsSL https://ollama.com/install.sh | sh
1
2

#vi /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin"
#配置远程访问
Environment="OLLAMA_HOST=0.0.0.0"
#配置跨域请求
Environment="OLLAMA_ORIGINS=*"
#配置OLLAMA的模型存放路径，防止内存不足，一般的默认路径是/usr/share/ollama/.ollama/models/
Environment="OLLAMA_MODELS=/home/ollama/.ollama/models"

[Install]
WantedBy=default.target

##修改完后执行
sudo systemctl daemon-reload
sudo systemctl enable ollama
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

2. ollama的使用

#使用感觉和docker类似，输出ollama就会有提示
ollama serve	#启动ollama
ollama create	#从模型文件创建模型
ollama show		#显示模型信息
ollama run		#运行模型
ollama pull		#从注册表中拉取模型
ollama push		#将模型推送到注册表
ollama list		#列出模型
ollama cp		#复制模型
ollama rm		#删除模型
ollama help		#获取有关任何命令的帮助信息
1
2
3
4
5
6
7
8
9
10
11

3. ollama的library

类似Docker的Docker Hub,在这里可以查找可以选择的大模型。

4. Llama3使用示例

• 这里以llama3-8b为例

#下载模型
ollama pull llama3
#下载成功查看模型
ollama list
#运行模型
ollama run llama3
1
2
3
4
5
6

• general api调用

  #input
  {
      "model": "llama3",
      "prompt": "Describe the scene of sunny weather after raining",
      "stream": false
  }
  #output
  1
  2
  3
  4
  5
  6
  7

  

• chat api调用

  {
      "model": "llama3",
      "messages": [
          {
              "role": "system",
              "content": "假设你是一名资深的翻译家，请将接下来的内容翻译成中文"
          },
          {
              "role": "user",
              "content": "What a lovely scenario!\n\nAs you step out into the bright, open air."
          }
      ],
      "stream": false
  }
  1
  2
  3
  4
  5
  6
  7
  8
  9
  10
  11
  12
  13
  14

  

5. 参考

https://ollama.com/
https://github.com/ollama/ollama
1
2