当前位置:   article > 正文

Ollama+Open WebUI部署大模型在linux平台_open-webui linux离线部署

open-webui linux离线部署

Ollama安装运行

Ollama容器拉取

docker pull ollama/ollama
  • 1

Ollama容器CPU运行

docker run -d --restart=always -v /home/docker/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
  • 1

Ollama容器GPU运行

# nvidia-container-runtime-script.sh

sudo curl -s -L https://nvidia.github.io/nvidia-container-runtime/gpgkey | \
  sudo apt-key add -
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
sudo curl -s -L https://nvidia.github.io/nvidia-container-runtime/$distribution/nvidia-container-runtime.list | \
  sudo tee /etc/apt/sources.list.d/nvidia-container-runtime.list
sudo apt-get update

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9

运行上述指令

##运行等待事件较长
sudo sh nvidia-container-runtime-script.sh
##要想成功执行这句,必须把源做好。
sudo apt-get install nvidia-container-runtime
#验证
which nvidia-container-runtime
#重启docker
sudo systemctl restart docker
#指定gpu模板
docker run -it --gpus '"device=0,2"' --shm-size 32g image_name:tag_name
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
docker run --gpus all -d -v /your/path/docker/ollama:/root/.ollama -p 11435:11435 --name ollama-gpu ollama/ollama
  • 1

Open WebUI安装运行

Open WebUI容器拉取

docker pull ghcr.io/open-webui/open-webui:main
  • 1

Open WebUI容器运行

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
  • 1

Open WebUI端口重定向

这一步是为了在windows端可以访问

ssh -N -L 3000:localhost:3000 linux@linux.ip
  • 1

容器删除

docker ps -l
#会返回CONTAINER ID,假设ed01c65da2cf
docker rm ed01c65da2cf
  • 1
  • 2
  • 3

用户添加到docker用户组

## 将登陆用户加入到docker用户组中
sudo gpasswd -a $USER docker
# 更新用户组
newgrp docker
  • 1
  • 2
  • 3
  • 4

错误解决

sudo apt-get install -y nvidia-docker2 Reading package lists... Done
Building dependency tree        Reading state information... Error! E:
Unable to parse package file /var/lib/apt/extended_states (1)
  • 1
  • 2
  • 3

extended_states 做好备份,删除这个文件后,执行

sudo apt-get update
  • 1
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/菜鸟追梦旅行/article/detail/612687
推荐阅读
相关标签
  

闽ICP备14008679号