当前位置:   article > 正文

Ollama本地部署大模型_webui could not connect to ollama

webui could not connect to ollama

Ollama本地部署

1. 什么是Ollama

Ollama 是一个开源的大型语言模型运行框架,能够在方便的本地部署运行大模型。可以将其类比为 Docker ,运行在 Ollama 中的大模型类比为运行在 Docker 中的容器。

2. Ollama安装

2.1 下载安装

Ollama 官方支持 WindowsLinuxMac 下的部署。
打开下载连接,根据情况选择部署方式,以 Windows 为例,
在这里插入图片描述
安装方式很简单,直接双击运行 OllamaSetup.exe 文件,完成安装即可。

可以修改系统环境变量更改模型下载位置:OLLAMA_MODELS=D:\Ollama(自定义下载位置)

2.2 运行

安装完成后,在命令行运行 ollama,出现以下情况,代表安装成功。
在这里插入图片描述

通过 ollama --verisonollama -v 可以查看 ollama 版本。若运行时出现警告 Warning: could not connect to a running Ollama instance,是因为 ollama 没有运行,执行 ollama serve 命令运行 ollama 即可。

在这里插入图片描述

2.3 下载、运行模型

打开模型下载地址,搜索自己需要的模型,进行下载,以阿里的 ”千问“ 为例,搜索 qwen,并选择自己的版本。
在这里插入图片描述
在这里插入图片描述
本例使用 “qwen:14b”,在命令行中执行 ** ollama run qwen:14b**,便开始下载运行所选模型。等待下载完成,最后一部分会比较缓慢。

ollama run 命令和docker run命令类似,都是先去本地环境中查询,是否拥有该镜像,若没有则去远程仓库拉取。
可以使用 ollama list 查询本地已下载的模型。
在这里插入图片描述

2.4 使用

等待下载完成,并开始运行,就可以开始使用了。
在这里插入图片描述

3. 整合open-webui

open-webui的GitHub地址

Open WebUI是一个可扩展、特征丰富且用户友好的自托管WebUI,旨在完全离线运行。它支持各种LLM运行器,包括Ollama和OpenAI兼容的API。

3.1 安装 open-webui

执行以下命令:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
  • 1

该命令来自官方的github仓库,可以根据自己情况进行更改
在这里插入图片描述

3.2 登录并配置open-webui

上述命令运行完成后,可以开打 localhost:3000,以下界面,根据提示进行注册,即可登录。后续登录是通过邮箱登录。
在这里插入图片描述
登录成功后,点击右上角配置,更改为简体中文:
在这里插入图片描述
左上角选择使用模型:
在这里插入图片描述
以上为使用 Windows本地部署 Ollama 的流程。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/IT小白/article/detail/718070
推荐阅读
相关标签
  

闽ICP备14008679号