Ollama&llama_ollama server 模式下,调用ollama 接口

Olllama

直接下载ollama程序，安装后可在cmd里直接运行大模型；

llama 3

meta 开源的最新llama大模型；

下载运行

1 ollama

ollama run llama3

2 github

下载仓库，需要linux环境，windows可使用wsl；

1. 接受许可协议。获取下载链接
   
2. 仓库运行download.sh
   
   3.quickstart

3 huggingface

meta
接受协议，访问模型文件，（不知道是不是affiliation填none被拒绝了）

补充

1.windows访问wsl文件

\\wsl$ 
1

查看文件

2. wsl访问windows
lwsl文件系统mnt已挂载windows盘符，不过需要在linux 里（terminal）访问，使用cp复制等。

3. 使用ip网络传输文件

#wsl terminal
#查看IP地址
ip addr 
# 复制windows文件至wsl
scp [-r]  file/dir hostname@ip_addr:/home/ 

# windows terminal
scp [-r] hostname@ip_addr:/home/ D:\rev
1
2
3
4
5
6
7
8

4. wsl nvidia cuda
   似乎默认能直接访问gpu，但cuda还需安装nvidia-cuda-toolkit
   

5.模型后缀

Instruct is fine-tuned for chat/dialogue use cases.
Example: ollama run llama3 / ollama run llama3:70b
Pre-trained is the base model.
Example: ollama run llama3:text / ollama run llama3:70b-text