仙宫云自部署Ollama+openwebUI，一套代码享受多套LLM大模型_仙宫云服务器

自部署，一套代码享受多套LLM大模型

例如：通义千问，deepseek，gemma，llama，yi等大模型
甚至还可以将其与stable diffusion 进行联动，实现一句话画一张图

GPU云服务器

仙宫云地址
镜像地址
视频教程

使用教程

环境

PyTorch 2.1.0
Python 3.10
CUDA 12.2

1. 安装nvm，nodejs版本管理器

curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.7/install.sh | bash
1

export NVM_DIR="$HOME/.nvm"
[ -s "$NVM_DIR/nvm.sh" ] && \. "$NVM_DIR/nvm.sh"  
[ -s "$NVM_DIR/bash_completion" ] && \. "$NVM_DIR/bash_completion" 
1
2
3

安装node环境

nvm install 18.20.2
1

设置npm镜像源

 npm config set registry https://registry.npmmirror.com
1

npm官方：https://registry.npmjs.org
淘宝最新：https://registry.npmmirror.com
腾讯云：http://mirrors.cloud.tencent.com/npm/
华为云：https://repo.huaweicloud.com/repository/npm/
1
2
3
4

安装nvm来快速管理镜像源

npm i nvm -g
1

查看nvm所有的镜像源

nvm ls
1

切换成npm镜像源

nvm use npm
1

2. 安装ollama

curl -fsSL https://ollama.com/install.sh | sh
1

如果卡顿可以使用这个命令

. /accelerate/start  # 开始加速
. /accelerate/stop # 停止加速
1
2

3. 安装open webui

因为我这里用的是docker容器服务器，所以我这里展示的是非docker的安装方式

下载代码

git clone https://github.com/open-webui/open-webui.git
1

安装ui界面依赖

cd /open-webui
# 添加环境变量配置
cp -RPp .env.example .env
npm i
1
2
3
4

如果安装不动，可更换npm镜像源

需要将node_modules和package-lock.json给删除掉

打包ui界面文件

npm run build
1

安装open webUI的python依赖

cd ./backend
pip install -r requirements.txt -U
# 如果上面的pip总是失败的话再这个命令后面添加个 -i https://pypi.tuna.tsinghua.edu.cn/simple some-package 参数来临时更换一下镜像源。
pip install -r requirements.txt -U -i https://pypi.tuna.tsinghua.edu.cn/simple some-package
1
2
3
4

启动 open webUI

bash start.sh
1

4. 启动ollama

启动ollama一共两种启动

第一种：公网访问

export OLLAMA_HOST=0.0.0.0:11434
ollama serve
1
2

11434可以换成其他的，自己定义

第二种：本地访问

ollama serve
1

不过若是机器性能不是很强的话建议公网访问，毕竟open webUI可以同时调用多个LLM大模型

抱歉我给忘了，第一次启动要在抱脸上下载文件，然后得先启动加速

一键启动脚本

#!/bin/bash
screen -ls | grep Detached | cut -d. -f1 | awk '{print \$1}' | xargs kill
echo "开始启动ollama"

# 创建一个新的screen窗口，名称为ollamaService，并执行ollama serve命令

screen -S ollamaService -d -m bash -c 'export OLLAMA\_HOST="0.0.0.0:9090"; ollama serve; exec bash'

echo "开始启动OpenWebUI"

# 创建一个新的screen窗口，名称为openWebUI，并执行cd和bash start.sh命令

screen -S openWebUI -d -m bash -c 'cd /root/open-webui/backend; bash start.sh; exec bash'

# 输出提示信息
echo "OpenWebUI URL: <http://localhost:8080>"
echo "Ollama URL: <http://0.0.0.0:9090>"
# 等待三秒或者更久
sleep 3
# 退出脚本，这将关闭终端
exit 0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21