当前位置:   article > 正文

开源大模型部署——ollama_ollama部署大模型

ollama部署大模型

开源大模型部署——ollama


前言

本文是基于ollama来部署llama3大模型的一个例子,在ollama官网库中有其他模型(qwen2、phi3等)选择。


一、下载并安装ollama

Ollama官网下载地址:https://ollama.com/download
在这里插入图片描述
安装成功后打开cmd输入ollama,若出现如下内容,则代表安装成功。

C:\Users\78609>ollama
Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21

二、下载模型(以llama3的4b模型为例)

在cmd中输入

ollama run llama3
  • 1

下载成功后就可以进行使用。
下载成功后就可以进行使用
在这里插入图片描述

三、部署前端界面(MaxKB)

电脑上要有docker

docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data cr2.fit2cloud.com/1panel/maxkb
  • 1

完成安装
MaxKB在GitHub上的代码
在这里插入图片描述
MaxKB在Ubuntu 22.04 / CentOS 7部署&离线部署教程

四、使用web界面部署模型

输入网址http://127.0.0.1:8080/
输入用户名: admin密码: MaxKB@123..
在这里插入图片描述
登录成功后创建应用
在这里插入图片描述
选择模型
在这里插入图片描述

注意注意
MaxKB 版本为 0.9.0,API 域名格式为:http://您ollama所在服务的ip地址:您ollama的端口号/v1 MaxKB 版本为 0.9.1及之后的版本API 域名格式:http://您ollama所在服务的ip地址:您ollama的端口号/ 注意:API 域名不可使用 127.0.0.1 或 localhost。
API域名填写为http://host.docker.internal:11434
在这里插入图片描述
演示效果
在这里插入图片描述

五、注意事项

问题1:API 域名无效
解决方法:API域名填写为http://host.docker.internal:11434


问题2:用docker安装之后,然后重启容器之后数据全部丢失,能不能不让丢失。确定是用 docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data 1panel/maxkb 启动的。
解决方法:启动的时候添加 --privileged=true
比如将数据挂载到D盘
docker run -d --name=maxkb -p 8080:8080 -v D:/maxkb/data:/var/lib/postgresql/data --privileged=true 1panel/maxkb
如果启动还是报错,那就需要使用wsl子系统

Windows PowerShell命令行窗口在Windows系统开始那里
先安装WSL(管理员运行Windows PowerShell:wsl --update)
安装Ubuntu(管理员运行Windows PowerShell:wsl --install -d Ubuntu),运行后要设置帐号密码,注:输入密码时,密码不会显示在命令行窗口,不要惊慌,实际已设置好了。
官网下载安装Docker后注册帐号(需科学上网),在Docker软件设置里,找到“Resource”项→"WSL integration"项,将“Enable integration with my default wSL distro”打勾,将“Ubuntu”打开。后连接Docker(管理员运行Windows PowerShell:docker login)
Docker是国外的软件,日常使用需加速,不加速就得科学上网(但这样不切实际),所以在Docker设置里,找到“Docker Engine”,设置Docker镜像加速代码:
注意:一个逗号都不能少,直接复制这个就可以了。

“builder”: {
“gc”: {
“defaultKeepStorage”: “20GB”,
“enabled”: true
}
},
“experimental”: false,
“registry-mirrors”: [
“https://dockerproxy.com ”,
“https://docker.mirrors.ustc.edu.cn ”,
“https://docker.nju.edu.cn ”
]
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12

安装MaxKB镜像(点击Ubuntu图标后出现命令行窗口,后输入命令行:

docker run -d --name=maxkb -p 8080:8080 -v /maxkb:/var/lib/postgresql/data --privileged=true 1panel/maxkb
  • 1

总结

本文作为开源大模型部署方法的部署手册,供大家参考。
更具体的教程可以参考【教程】Windows系统本地部署Ollama+MaxKB安装教程
MaxKB 对接Ollama模型时,提示 API 域名不可用
b站视频:部署开源大模型
我用docker安装之后,然后重启容器之后数据全部丢失

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/酷酷是懒虫/article/detail/758337
推荐阅读
相关标签
  

闽ICP备14008679号