Ollama 环境搭建与使用指南_ollama使用gpu

什么是 Ollama?

Ollama 通过在本地部署和运行大型语言模型，为用户提供了一个方便、灵活的工具来探索人工智能的强大能力。

环境搭建

CPU 环境

如果你的机器没有 GPU,可以使用以下命令在 CPU 环境下运行 Ollama:

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollamag
1

GPU 环境

如果你的机器有 NVIDIA GPU,可以使用以下命令在 GPU 环境下运行 Ollama:

docker run -d --gpus=all -v /data/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
1

注意将 /data/ollama 替换为你希望存储 Ollama 数据的路径。

运行 Ollama

启动 Docker 容器后,可以使用以下命令运行 Ollama:

docker exec -it ollama ollama run qwen:7b
1

这里的 qwen:7b 是默认的模型名称。如果你想使用其他模型,只需将其替换为相应的模型名称即可。Ollama 会自动下载所需的模型文件。

模型存储路径

Ollama 的模型文件默认存储在以下路径:

/home/docker/volumes/ollama/_data/models
1

你可以在这个路径下找到已下载的模型文件。

总结

群内交流更多技术
130856474  <--  在这里