运用Ollama部署大语言模型Qwen_ollama部署qwen

---

前言

    大语言模型（Large Language Model，简称LLM）是一种基于深度学习技术的人工智能模型，它能够处理和生成自然语言文本。最近两年大语言模型比较火热，而且使用过程中大家也比较担心的就是数据泄露问题(比如数据被收集用作更大模型训练)，所以想在本地服务器上搭建一个大语言模型服务，这样对于数据泄露也不用那么担心了。

---

一、硬件环境

    部署环境采用阿里云服务器，配置：2核2GB，操作系统：Ubuntu 22.04 64位

二、工具介绍

    本地搭建，我们会使用一些开源的工具和开源的大语言模型。

1.ollama

Github:https://github.com/ollama/ollama
官网：https://ollama.com/

    Ollama是一个开源的大语言模型平台，它旨在简化大型语言模型（LLM）的本地部署和运行过程，降低使用门槛，让开发者、研究人员和爱好者能够在本地环境中快速实验、管理和部署最新的大语言模型。

核心功能与特点：

• 本地部署：Ollama提供了类似于Docker的CLI界面，使用户能够快速在本地进行大语言模型的推理部署，无需依赖云服务或远程服务器。
• 丰富的模型库：Ollama支持多种大型语言模型，如Llama 2、Mistral等，用户可以下载和运行这些模型，满足不同场景下的需求。
• 自定义和创建模型：除了运行现有的大型语言模型外，Ollama还允许用户通过Modelfile定义和创建自定义模型，满足特定应用场景的需求。
• API接口和聊天界面：Ollama提供了类似OpenAI的API接口和聊天界面，用户可以通过接口使用最新版本的GPT模型，并支持热加载模型文件。
• 多平台支持：Ollama支持macOS、Windows和Linux平台，甚至提供了Docker容器的支持，几乎覆盖了所有主流操作系统。
• 社区和文档支持：Ollama得到了积极的维护和更新，拥有一个庞大而活跃的社区，为用户提供支持和资源。官方网站和GitHub页面提供了详细的安装和使用指南。

2.open-webui

Github:https://github.com/open-webui/open-webui
官网：https://openwebui.com/
    Open-WebUI（原Ollama_WebUI）是一个专为大型语言模型（LLM）设计的自托管Web用户界面，它提供了丰富的功能和直观的用户体验，旨在支持多种LLM运行器，包括Ollama和OpenAI兼容的API。

核心功能与特点：

• 用户友好的界面：Open-WebUI的界面设计模仿了ChatGPT，提供了友好的聊天体验，支持响应式设计，适用于桌面和移动设备。
• 多模型支持：无缝切换不同的大型语言模型，提供多样化的交互体验。
• 多模态支持：与支持多模态交互的模型无缝交互，包括图像等。
• 丰富的交互功能：Markdown和LaTeX支持，代码语法高亮，网页浏览能力，语音输入支持，图像生成集成
• 灵活的模型管理：下载/删除模型，更新模型，GGUF文件模型创建
• 高级功能：本地RAG集成，RLHF注释，对话标签，聊天历史管理，多用户管理，
• 安全性与稳定性：后端反向代理支持，多语言支持，持续更新

3.LLM

    大语言模型我们选择阿里 Qwen，该系列模型不仅支持文本生成、文本理解、问答系统等传统自然语言处理任务，还具备多模态输入输出的能力，可以处理图像、语音等多种类型的数据。其实最重要的原因他相对于其他开源模型来说对中文理解相对比较好的。

大语言模型各个版本排名：

排行榜：https://rank.opencompass.org.cn/home

三、安装Ollama

1.进入Ollama官网

2.准备安装

3.安装

四、安装Open-WebUI

    服务器上我安装了Docker，我直接是基于Linux Docker安装。其他方式安装可直接参考：https://docs.openwebui.com/

命令：

sudo docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=http://127.0.0.1:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
1

安装完成效果：

    在使用之前需要注册账号：

注册账号页面 ：

登录后的系统：

五、部署Qwen模型

1.进入Ollama官网

2.搜索模型

3.选择Qwen2:0.5b版本模型（服务器资源有限，目标是为了实现部署）

安装方式一：

使用Ollama安装模型，并测试验证

    注：LLM目前还是模型越大性能，理解，生成能力越强。

安装方式二：
    因为我们安装了Open WebUI作为Ollama的大模型的UI管理页面，所以我们也可以通过他实现安装大模型。
1.点击个人设置

2.进入管理员设置

3.安装模型

六、Open WebUI

1.在登录进入Open WebUI之后，需要先选择模型

2.选择模型之后，我们可以进行提问

    注：如果过程中，发现IP无法直接访问Ollama服务，请参照文章 ：阿里云Linux服务器安装Ollama后，IP无法访问

开放地址：http://llm.xiangsimian.com/
开放时间：2024.07.18 - 2024.07.31
供学习使用

---

总结

    以上是本地通过Ollama搭建大语言模型服务，并且同时搭建一套Open WebUI的方法。

“笑对人生，智慧同行！博客新文出炉，微信订阅号更新更实时，等你笑纳~”