Linux平台上部署和运行Ollama_linux安装ollama超时

搭建ollama webUI

*简介：ollama-webUI是一个开源项目，简化了安装部署过程，并能直接管理各种大型语言模型（LLM）。本文将介绍如何在你的Linux上安装Ollama服务并配合webUI调用api来完成聊天。

开源地址

• https://github.com/812781385/ollama-webUI.git，开源不易感谢star
• 微信公众号

环境要求

• Ubuntu >=20
• nodejs >= 18
• 没错，其他的都不需要了

目标

• 运行ollama
• 启用webUI
• 启用API服务
• 启用RAG

安装ollama

• 官网直接安装，ollama官网。
• 选择Linux，复制命令curl -fsSL https://ollama.com/install.sh | sh，如果安装速度非常慢。可以先更新curl:sudo apt update,sudo apt upgrade cur，然后再下载ollama会比之前好很多，耐心等待20～30分钟完成下载。
• 安装完成后，ollama -v 查看当前版本。
• ollama -h查看当前所有命令，执行ollama run qwen:0.5b，使用命令后问答, control + D退出聊天。
• 退出命令后后，使用ollama serve发现端口被占用，需要先关闭ollama service ollama stop。然后再启动ollama serve
• ollama服务默认是http://127.0.0.1:11434。
• 后台启动：nohup ./ollama server > log.txt 2>&1 &
• 调用api会出现跨域，所以需要做一个服务端。我已经做好了，点击查看源码，感谢star

安装ollama-webUI和serve

• git clone https://github.com/812781385/ollama-webUI.git
• cd client
• pnpm i
• 修改.env 里的VITE_APP_AXIOS_BASE_URL 为自己的ip地址
• npm run dev 运行webUI
• cd serve
• npm i
• npm run dev 运行服务端
• 浏览器访问http://localhost:8080/
  
• 点击设置按钮，打开设置对话框，输入模型名称，例如：qwen:0.5b，点击按钮开始拉取模型。
  
  
• 选择刚刚拉取好的模型后，点击确定。就可以开始聊天了。
• 

使用RAG

什么是RAG，例如你问AI：你的名字叫什么？，他会告诉你他是个ai模型…，这不是我想要的答案，怎么办？有两种方式，1.训练自己的模型。2.在prompt里嵌入自己的文案。例如：你的名字叫小虎，请参考这个问题来回答: 你的名字叫什么，这时候他会回答，他的名字叫小虎。

• 如果你要使用RAG，请先安装chroma数据库，点击查看官网文档
• chroma run 启动数据库服务
• 你还需拉取ollama的嵌入式模型mxbai-embed-large，点击查看官网文档
• 然后调用serve/app/router里的接口，添加数据router.post('/addData', controller.chat.addDataForDB);
• 在webUI的设置对话框里，开启RAG开关，就可以聊天了

模型推理内存损耗

• 以llama2为例计算
  

视频演示

播放