赞
踩
最近开源的llama模型非常火,BX同学在这里向大家演示一下,如何本地部署。
本文章谨代表BX个人思考
Meta公司发布的新一代大语言模型,
本期介绍如何在本地,在自己电脑上利用CPU/GPU部署运行,
用Ollama
下载ollama:
https://ollama.com/
下载Docker desk:https://www.docker.com/get-started/
根据提示操作 按部就班 的下载
检查:
下载 open-webui框架
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
这样就安装完成了
在docker中运行这个项目
然后进入:
注册登录后进入界面
然后进入设置去下载模型
进入到模型选择界面
有一个70B和8B和两种情况,根据自己的情况去下载
把下载指令填入下载框,等待下载就行了
选择模型就可以开始对话了
效果还是很不错!
感谢大家观看,让我们一起进步
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。