ollama本地部署大模型（纯CPU推理）实践_ollama cpu

说明

• 本文旨在分享在linux(centos8)平台使用docker部署轻量化大模型，仅供学习和体验，无法适用于生产环境
• 运维面板使用飞致云的开源面板1panel，使用ollamadocker方案快速部署大模型，总共需要两个dcoker环境：ollama 容器环境和ollama WebUI容器环境

Ollama和Ollama WebUI简介

• Ollama ：一个开源的大型语言模型服务，提供类似 OpenAI 的 API 接口和聊天界面，可以非常方便地部署最新版本的 GPT 模型并通过接口使用。支持热加载模型文件，无需重新启动即可切换不同的模型。
• Open WebUI：针对 LLM 用户友好的 WebUI，支持的 LLM 运行程序包括 Ollama、OpenAI 兼容的 API。

Ollama模型硬件要求

• Ollama 支持 ollama.com/library 上提供的一系列模型

内存要求

• 注意：运行 7B 型号至少需要 8 GB 可用 RAM （内存），运行 13B 型号至少需要16 GB可用 RAM （内存） ，运行 33B 型号至少需要32 GB 可用 RAM （内存）。
• 示例模型

Ollama容器部署

1. 在1Panel应用商店中选择Ollama进行安装
   
2. 配置容器的启动配置：容器名称、端口，最后，点击启动即可
   

Ollama容器内模型下载和对话

1. 根据机器内存和CPU性能可以进入容器，下载示例模型

2. 按照操作，进入容器终端
   
3. 点击连接进入容器内部，输入ollama run qwen:0.5b下载模型，下载成功后，自动启动对话
   
   

• 存在的缺点：需要进入容器进行对话，只能在终端进行，不方便，不优雅

Ollama WebUI部署

• 有关ollama WebUI镜像拉取缓慢的问题和部署的内容，请阅读一下两篇文章
  • docker配置github仓库ghcr国内镜像加速
  • 使用1panel部署Ollama WebUI（dcoekr版）浅谈

Ollama WebUI下载模型和对话

1. 选择模型进行下载，然后刷新页面
   
2. 然后，选择模型进行对话，这效果（只能图一乐）
   声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/羊村懒王/article/detail/551720