当前位置:   article > 正文

Ollama+OpenWeb UI搭建最简单的大模型交互界面

ollama

Open WebUI是一个专为大型语言模型(LLMs)设计的Web用户界面。这个界面提供了一个直观、响应迅速且易于使用的平台,使用户能够与本地运行的语言模型进行交互,就像与云服务中的模型交互一样。可以非常方便的调试、调用本地模型。你能用它连接你在本地的大语言模型(包括 Ollama 和 OpenAI 兼容的 API),也支持远程服务器。Docker 部署简单,功能非常丰富,包括代码高亮、数学公式、网页浏览、预设提示词、本地 RAG 集成、对话标记、下载模型、聊天记录、语音支持等。

前面的博文《centos上部署Ollama平台,实现语言大模型本地部署》中已经实现Ollama的部署。这里分享一下,如何在已有Ollama的基础上,快速搭建一个调试界面。这里使用的是OpenWeb UI。可以基于源码自己搭建,需要使用到node.js与python;也可以基于docker部署,缺点就是慢,特别容易超时,我自己都下载了两天。

拉取镜像

docker pull ghcr.io/open-webui/open-webui:main 
  • 1

如果经常超时,可以加一下下面的代理

{
    "registry-mirrors": [
	    "https://docker.m.daocloud.io",
        "https://docker.fxxk.dedyn.io",
        "https://dockerproxy.com",
        "https://docker.mirrors.ustc.edu.cn",
        "https://docker.nju.edu.cn",
        "https://mirror.baidubce.com",
        "https://docker.mirrors.sjtug.sjtu.edu.cn",
		"http://hub-mirror.c.163.com",
		"https://registry.docker-cn.com",
		"https://docker.mirrors.ustc.edu.cn"
    ]
}

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15

我这个过程,一直在超时,两天的时间,一直在重复执行这个命令

启动docker

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
  • 1

这里我的OpenWeb UI与Ollma部署在同一台机器上
如果不是同一台可以运行下面命令

docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://192.168.2.172:11434/api -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
  • 1

启动后,浏览器访问机器的3000端口,即可进入OpenWeb UI界面,第一次访问需要注册
注册
注册后,即可进入人机对话
使用界面

使用中文模型

Ollama的很多模型对中文并不友好,如果想要体验中文模型,可以使用qwen模型进行测试。执行下面命令即可使用qwen模型

docker exec -it ollama ollama run qwen
  • 1
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/人工智能uu/article/detail/874835
推荐阅读
相关标签
  

闽ICP备14008679号