【局域网内其他机器可以访问部署机】轻松搭建llama3Web 交互界面 - Ollama + Open WebUI_ollama3

Ubuntu下安装：（官网：Download Ollama on Linux）

curl -fsSL https://ollama.com/install.sh | sh

就运行起来ollama了，不放心可以用ollama serve查看一下

 ollama run llama3

就可以跑起来了，

 那么我们肯定还是希望有chat界面，

使用https://github.com/open-webui/open-webui

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

 出现下面这个界面就是open webui启动成功了：

默认注册的第一个用户是管理员

如果llama3出不来，那么把open webui停掉删掉，使用这个命令，第一句是停掉，第二句命令是删掉container：

docker stop open-webui

docker rm open-webui

ollama先执行，不要stop

重新执行这句命令，就ok了

docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main

首先打开Ollama的配置文件

sudo gedit /etc/systemd/system/ollama.service
在[Service]下面加上：

Environment="OLLAMA_HOST=0.0.0.0:11434"
其次配置防火墙，打开端口。Ollama的默认端口是11434，所以直接输入：

sudo ufw allow 11434/tcp

重启：

systemctl daemon-reload
systemctl restart ollama

这样，在外网就能够使用ip的方式进行访问。

还不行，之后要这么操作

第一步： 添加11434端口到firewalld防火墙
firewall-cmd --zone=public --add-port=11434/tcp --permanent
加载端口
firewall-cmd --reload
查看结果
firewall-cmd --zone=public --query-port=11434/tcp
查开防火墙打开的端口
firewall-cmd --list-ports

第二步：修改Ollama
为了允许其他服务器访问ollama服务，需要将host设置成0.0.0.0
修改ollama配置：
systemctl edit ollama.service
还有其他问题可以参考：https://github.com/ollama/ollama/blob/main/docs/faq.md
我用的是直接修改配置文件：vim /etc/systemd/system/ollama.service
加的是绿色部分
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment=“PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin”
Environment=“OLLAMA_HOST=0.0.0.0”

[Install]
WantedBy=default.target

ESC键  

:wq 保存

重启ollama
systemctl daemon-reload
systemctl restart ollama

可以在外部浏览器通过ip端口访问