赞
踩
*简介:ollama-webUI是一个开源项目,简化了安装部署过程,并能直接管理各种大型语言模型(LLM)。本文将介绍如何在你的macOS上安装Ollama服务并配合webUI调用api来完成聊天。
ollama -h
,查看到所有的命令。ollama run llama3
,可看到下载速度非常快,取决于你的宽带。control + D
退出聊天ollama提供api的形式调用,直接查看官网文档
ollama serve
启动服务,发现端口被占用
需要点击电脑右上角的ollama图标来退出ollama,再来运行ollama serve
ollama服务默认是http://127.0.0.1:11434,目前在macOS上修改ip和端口无效,官方未解决(2024-5-9)。
调用api会出现跨域,所以需要做一个服务端。我已经做好了,点击查看源码,感谢star
git clone https://github.com/812781385/ollama-webUI.git
cd client
pnpm i
VITE_APP_AXIOS_BASE_URL
为自己的ip地址npm run dev
运行webUIcd serve
npm i
npm run dev
运行服务端http://localhost:8080/
qwen:0.5b
,点击按钮开始拉取模型什么是RAG,例如你问AI:你的名字叫什么?,他会告诉你他是个ai模型…,这不是我想要的答案,怎么办?有两种方式,1.训练自己的模型。2.在prompt里嵌入自己的文案。例如:你的名字叫小虎,请参考这个问题来回答: 你的名字叫什么
,这时候他会回答,他的名字叫小虎。
chroma run
启动数据库服务mxbai-embed-large
,点击查看官网文档router.post('/addData', controller.chat.addDataForDB);
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。