企业本地大模型用Ollama+Open WebUI+Stable Diffusion可视化问答及画图_ollama接入stable diffusion

作者：在线问答5 | 2024-07-03 23:08:32

踩

ollama接入stable diffusion

最近在尝试搭建公司内部用户的大模型，可视化回答，并让它能画图出来，主要包括四块：

Ollama 管理和下载各个模型的工具
Open WebUI 友好的对话界面
Stable Diffusion 绘图工具
Docker 部署在容器里，提高效率

以上运行环境Win10, Ollama,SD直接装在windows10下，然后安装Docker Desktop版，将Open WebUI部署在Docker内

一 Ollama

直接去https://ollama.com/ 下载安装

Ollama修改存储路径

不改的话系统盘装不下，默认情况下ollama模型的存储目录如下：

macOS: ~/.ollama/models
Linux: /usr/share/ollama/.ollama/models
Windows: C:\Users\<username>\.ollama\models
1
2
3

我的Windows10, 则需设置环境变量 OLLAMA_MODELS, 把它设置为所选目录。

OLLAMA_MODELS=D:\ollama-models
1

如果想在其他电脑用ip可以访问加环境变量，为了安全可以不加：

OLLAMA_HOST=0.0.0.0
OLLAMA_ORIGINS=*
1
2

ollama 环境变量
默认端口：11434 ，打开显示Ollama is running 表示成功
ollama 是否成功安装

Ollama安装大模型和索引模型

从这里查看模型库： https://ollama.com/library
下载 qwen2 qwen ,chinese, llama3 shaw/dmeta-embedding-zh 等模型

阿里巴巴的大模型：
ollama run  qwen
ollama run qwen:14b
ollama run qwen:32b
ollama run qwen:72b
ollama run qwen:110b   # 110b 表示该模型包含了 1100 亿（110 billion）个参数


脸书大模型：
ollama run llama2
ollama run llama3
ollama run llama3:8b

谷歌的大模型：
ollama run gemma

微软的大模型
ollama run phi3

显示所有模型
# ollama list

删除模型
# ollama rm llama3:latest
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

下载完后可以直接在CMD下与它对话：
ollama list

二 Docker

下载：https://www.docker.com/products/docker-desktop/ 最新版本，我当时下载的l默认版本 4.31.1，后来发现是大坑，一会儿再讲原因，后来重装了4.29.0，从这里下载历史版本：
https://docs.docker.com/desktop/release-notes/

docker提速改国内源下载：

"registry-mirrors": [
    "https://hub-mirror.c.163.com",
    "https://mirror.baidubce.com"
  ]
1
2
3
4

改docker源
参考： https://www.cnblogs.com/Flat-White/p/17107494.html

docker修改默认存储位置

缓存文件还是不要放在C盘上，得改到其他盘。发现4.31.0无论如何没有data那个目录，反复很多次不成功，在搜了一晚上后差点放弃不改路径了，后来换了个版本4.29.0后正常了，将C盘AppData\docker\wsl\下的缓存改到D:\docker-data：

wsl --shutdown
wsl --export docker-desktop-data D:\docker-data\docker-desktop-data.tar
wsl --unregister docker-desktop-data
wsl --import docker-desktop-data D:\docker-data D:\docker-data\docker-desktop-data.tar --version 2
1
2
3
4

参考： https://www.cnblogs.com/xhznl/p/13184398.html

三 Stable Diffusion

直接用秋叶大佬的一键安装包： https://www.stablediffusion-cn.com/sd/sd-install/118.html
安装上常规的插件Controlnet，Lora, 把远程监听打开，让其他的机子可以访问
这个不用多说，里面的使用以后我再开个贴子

四 Open WebUI

前面已经部署过docker, 目的是方便管理维护，在CMD下：

docker run -d -p 3450:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
1