本地部署属于自己的大语言模型_本地部署大语言模型

1.安装docker

docker官网

安装docker-desktop

docker 配置：setting->Docker Engine

 {
  "builder": {
    "gc": {
      "defaultKeepStorage": "20GB",
      "enabled": true
    }
  },
  "debug": false,
  "experimental": false,
  "features": {
    "buildkit": true
  },
  "insecure-registries": [],
  "registry-mirrors": [
    "https://docker.mirrors.ustc.edu.cn/"
  ]
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

2.安装oolama

*打开cmd拉取Ollama镜像命令 ： docker pull ollama/ollama:latest

新建容器，端口设置11434与之后的chatbot-ollama保持一致

打开内置命令行输入ollama run llama2-chinese
自动拉取Llama 2-chinese模型

出现如上结果即为成功

3.安装chatbot或open-webui实现网页化

3.1安装chatbot-oolama

打开cmd 下载镜像
docker run -p 3000:3000 ghcr.io/ivanfioravanti/chatbot-ollama:main

新建容器直接启动，显示下图即为成功

打开链接http://localhost:3000 显示如下即成功。

3.2安装open-webui

open-webui github地址：GitHub - open-webui/open-webui：用于 LLM 的用户友好型 WebUI（以前称为 Ollama WebUI）
拉取镜像并创建容器：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
1

success后进入网址： http://localhost:3000/
第一次进入提示注册，输入邮箱及密码出现如下界面即为成功

4.添加图片识别模型llava

在ollama容器内输入ollama run llava命令,即可自动拉取模型

模型自动识别到chatbot和open-webui中

5.更多模型

支持多种模型，每种模型有多个参数，运行7B参数模型需要至少8G内存，运行13B参数模型需要至少16G内存，运行33B参数模型需要至少32G内存。以下是几种模型的参数与模型大小，更多模型可查阅ollama官方文档。

https://github.com/ollama/ollama

6.内网穿透-cpolar

cpolar 官网下载地址 ：download下载 - cpolar 极点云官网

选择windows版，直接安装。
注册免费套餐后登录

免费版为随机域名

点击左侧仪表盘的隧道管理——创建隧道，创建一个聊天机器人的公网地址隧道!

• 隧道名称：可自定义命名，注意不要与已有的隧道名称重复
• 协议：选择http
• 本地地址：3000 (本地访问的端口)
• 域名类型：免费选择随机域名
• 地区：选择China
  
  点击状态复制域名,在浏览器输入网址即可
  

成功！！！

参考链接

• https://blog.csdn.net/weixin_63115236/article/details/136375479