当前位置:   article > 正文

Ollama配置webui连接大预言模型_docker run -d -p 3000:8080

docker run -d -p 3000:8080

Ollama配置Web UI连接大预言模型

默认ollama安装后,chat对话只有命令行界面,交互体验较差。借助open-webui可以通过web界面连接ollama,从而实现类似chatgpt式的web交互体验。

使用家用PC实践记录如下:

1. 环境配置

本次使用的操作系统及硬件信息如下:

  • 操作系统:windows11 23H2
  • CPU: intel i7-12700
  • MEM: 16GB
  • GPU: NVIDIA GeForce GTX 1650
  • Disk: 512GB SSD
  • Docker:25.0.3

2. 安装Ollama

  1. macOS: Download

  2. Windows: Download

  3. Linux

    一键命令安装:curl -fsSL https://ollama.com/install.sh | sh

    手动安装:Manual install instructions

  4. Docker: Ollama Docker image

3. 安装 Ollama WebUI

运行以下 docker 命令以在本地计算机上部署 llama-webui docker 容器:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

docker ps
CONTAINER ID   IMAGE                                COMMAND           CREATED          STATUS          PORTS                    NAMES
24224b4e9772   ghcr.io/open-webui/open-webui:main   "bash start.sh"   15 seconds ago   Up 10 seconds   0.0.0.0:3000->8080/tcp   open-webui
  • 1

要连接到另外一台机器上的 Ollama,请将 OLLAMA_BASE_URL 更改为对应的URL:

docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
  • 1

注意:

使用 Docker 安装 Open WebUI 时,请确保在 Docker 命令中包含 -v open-webui:/app/backend/data,用于保存数据。

4. 登录打开WebUI

安装完成后,您可以通过http://localhost:3000 访问OpenWebUI。首次登录需要进行注册:

alt

5. 从 ollama library下载模型

  1. 使用使用命令行下载模型,例如下载llama3:ollama pull llama3

  2. 通过openwebUI下载

点击右上角设置图标,打开设置窗口,如下图,输入型号标签(如llama2:7b, gemma:2b),点击右侧下载按钮,等待型号待下载。

alt

6. 选择模型进行chat

选择model即可进行chat对话。

alt

本文由 mdnice 多平台发布

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/不正经/article/detail/612658
推荐阅读
相关标签
  

闽ICP备14008679号