Ollama在MacOS、Linux本地部署千问大模型及实现WEB UI访问
赞
踩
一、前言
阿里通义千问发布了Qwen2，提供了0.5B～72B的量级模型，在Ollama官网可以搜索qwen2查看，本文提供了Ollama的下载（在线/离线安装）、Ollama运行模型、使用WebUI连接模型以及页面简单配置。
二、实现效果
-
控制台直接提问
-
Web界面访问
三、实现步骤
- Windows、MacOS、Linux安装Ollama（我这里只在Macos、Linux上进行了安装）
- 使用Ollama拉取、运行模型（这步完成可以使用控制台、Api提问）
- 用Web UI实现可视化提问，方便管理。
四、开始实现
1.1 安装
首先我们需要在Ollama官网点击“Download”按钮，选择适合系统的版本点击下载，但由于网络问题，会非常慢，建议去他的github上下载release。
可以看见Ollama还是非常活跃的，在这里选择合适的版本下载安装。
Mac版本下载后放到应用文件夹内，打开后根据提示即可完成安装，Linux的安装稍微麻烦点，官方提供的命令是：
curl https://ollama.ai/install.sh | sh
就是下载install.sh并执行，脚本还是先下载好安装包再进行安装，网络问题会非常慢或者下载失败，所以我们这里需要把脚本使用下面脚本下载下来：
wget https://ollama.ai/install.sh
vim编辑这个脚本总共需要修改两个地方：
• 注释下载链接（install.sh的第66行左右）
status "Downloading ollama..."
#curl --fail --show-error --location --progress-bar -o $TEMP_DIR/ollama "https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}"
- 1
- 2
• 修改Ollama安装目录(install.sh的第73行左右)
status "Installing ollama to $BINDIR..."
$SUDO install -o0 -g0 -m755 -d $BINDIR
#$SUDO install -o0 -g0 -m755 $TEMP_DIR/ollama $BINDIR/ollama
$SUDO install -o0 -g0 -m755 ./ollama-linux-amd64 $BINDIR/ollama
- 1
- 2
- 3
- 4
以上步骤做好，就可以进入到install.sh脚本所在目录使用sh ./install.sh开始安装了，安装完，输入如图ollama -v出现版本代表安装成功。
1.2 模型拉取、运行
文章开头提到的在官网找到qwen2，选择需要的版本，如下图选择了1.5b版本，右边对应着执行命令，复制命令在MacOS或者Linux终端中执行。
这里如果没有模型会自动拉取模型，拉取速度非常快，拉取完后显示“>>> Send a message (/? for help)”代表可以直接输入问题进行提问了。
1.3 用Web UI实现可视化提问。
本文使用docker运行web界面，docker的安装这里不做过多赘述，终端中执行：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
- 1
docker会自动拉取镜像运行容器，运行成功后访问http://127.0.0.1:3000进入界面，首次注册登录的是管理员账号，可以设置成中文，也可以在设置中配置后面注册的默认角色。
需要注意的是需要选择提问的模型，在进行提问。
五、总结
总体还是比较简单的，更高阶的玩法，看小伙伴的反馈，后面更新比如自定义智能体、训练等。
