当前位置:   article > 正文

open-webui入门_openwebui完全离线部署

openwebui完全离线部署

一、什么是open-webui

       Open WebUI是一个可扩展、功能丰富、用户友好的自托管WebUI,旨在完全离线操作。它支持各种LLM运行程序,包括Ollama和OpenAI兼容的API。有关更多信息,请务必查看Open WebUI文档。

二、Open WebUI的主要功能

轻松安装:使用Docker或Kubernetes(kubectl、kustoize或helm)无缝安装,提供轻松的体验,同时支持ollama和cuda标记的图像。

Ollama/OpenAI API集成:轻松集成与OpenAI兼容的API,与Ollama模型一起进行多功能对话。自定义OpenAI API URL以链接LMStudio、GroqCloud、Mistral、OpenRouter等。

Pipelines,Open WebUI插件支持:使用Pipelines插件框架将自定义逻辑和Python库无缝集成到Open WebUI中。启动您的Pipelines实例,将OpenAI URL设置为Pipelines URL,探索无尽的可能性。示例包括函数调用、控制访问的用户速率限制、使用Langfuse等工具进行使用监控、使用LibreTranslate进行多语言支持的实时翻译、有毒消息过滤等。

响应式设计:在台式电脑、笔记本电脑和移动设备上享受无缝体验。

Progressive Web App(PWA)for Mobile:使用我们的PWA,在您的移动设备上享受本机应用程序般的体验,提供本地主机上的离线访问和无缝用户界面。

全面Markdown和LaTeX支持:通过全面的Markdown和La TeX功能提升您的LLM体验,丰富互动。

免提语音/视频通话:通过集成的免提语音和视频通话功能,体验无缝通信,实现更动态、更互动的聊天环境。

模型生成器:通过Web UI轻松创建Ollama模型。通过Open WebUI社区集成,轻松创建和添加自定义角色/代理、自定义聊天元素和导入模型。

原生Python函数调用工具:通过工具工作区中内置的代码编辑器支持来增强LLM。只需添加纯Python函数即可实现自带函数(BYOF),实现与LLM的无缝集成。

本地RAG集成:通过突破性的检索增强生成(RAG)支持,深入聊天交互的未来。此功能将文档交互无缝集成到您的聊天体验中。您可以直接将文档加载到聊天室中,或将文件添加到文档库中,在查询前使用#命令轻松访问它们。

RAG的网络搜索:使用SearXNG、Google PSE、Brave Search、serpstack、serper、Serply、DuckDuckGo和TavilySearch等提供商进行网络搜索,并将结果直接注入您的聊天体验。

网络浏览功能:使用#命令和URL将网站无缝集成到您的聊天体验中。此功能允许您将网络内容直接融入对话中,增强互动的丰富性和深度。

图像生成集成:使用AUTOMATIC111 API或ComfyUI(本地)和OpenAI的DALL-E(外部)等选项无缝集成图像生成功能,通过动态视觉内容丰富您的聊天体验。

多模型对话:轻松地同时与各种模型互动,利用它们的独特优势做出最佳反应。通过并行利用一组不同的模型来增强您的体验。

基于角色的访问控制(RBAC):确保使用受限权限进行安全访问;只有经过授权的个人才能访问您的Ollama,并且为管理员保留专属的模型创建/提取权限。

多语言支持:通过我们的国际化(i18n)支持,体验您喜欢的语言的开放式WebUI。加入我们,扩展我们支持的语言!我们正在积极寻找贡献者!

三、安装

使用默认配置进行Docker方式安装,Docker使用后续会在DevOps中介绍。

1、如果你的电脑本地部署了ollama服务,使用下面命令

      -v open-webui:/app/backend/data 数据持久化

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

1)我本地部署了ollama,所以使用这种方式部署

2)本地拉起open-webui

2、如果ollama服务是第三方提供

1)常规版本使用如下命令,其中https://example.com 是ollama服务地址,

docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

2) 其他版本查考官方文档(https://github.com/open-webui/open-webui)

四、open-webui界面配置

1、平台访问   http://127.0.0.1:3000

2、新建聊天

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/代码探险家/article/detail/929357
推荐阅读
相关标签
  

闽ICP备14008679号