这个屌丝很懒，什么也没留下！

ollama本地运行llama3:70b模型（Linux）_llama3 70b本地部署显存要求

作者：黑客灵魂 | 2024-07-28 18:13:59

llama3 70b本地部署显存要求


# 下载ollama
curl -fsSL https://ollama.com/install.sh | sh
 
# 运行ollama（重新打开一个终端去运行ollama run llama3:70b）
ollama serve

ollama run llama3:70b

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

ollama本地运行llama3:70b模型（Linux）_llama3 70b本地部署显存要求

1.下载ollama

2.运行llama3:70b模型（最低要求64G运存+24G显存）

3. 运行网页端（open-webui）