赞
踩
ollama帮助我们可以快速在本地运行一个大模型,再整合一个可视化页面就能构建一个chatGPT,可视化页面我选择了chat-ollama(因为它还能支持知识库,可玩性更高),如果只是为了聊天更推荐chatbox
# 启动命令
ollama serve
docker compose up
# 如果您是第一次启动,需要初始化 SQLite 数据库,在新的控制台运行
docker-compose exec chatollama npx prisma migrate dev
llama2-chinese模型最少要8G内存
CPU跑的太慢,用GPU的话也要差不多8G显存
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。