本地部署 Llama 3（包含中文版本）_llama3中文模型本地化部署

本地部署 Llama 3（包含中文版本）

以下版本为 Win 系统

Mac 操作方式一致，命令需要在终端中运行；

首先需要下载安装一个 Ollama 平台

下载后解压安装，安装过程就不展示了

搜索电脑里的 启用或关闭 windows 功能

打开适用于 linux 的 windows 子系统，并重启电脑

重启电脑后，安装 Docker 桌面

Docker Desktop: The #1 Containerization Tool for Developers | Docker

Docker Desktop is collaborative containerization software for developers. Get started and download Docker Desktop today on Mac, Windows, or Linux.

Docker

安装好后，需要再次重启电脑

重启后。继续安装

安装完成后，启动电脑命令提示符，输入一下命令。进行安装（Win系统）大概下载时间为，10分钟左右其实这一步只是为了，可以有一个类似ChatGPT的对话UI界面

Mac 系统如下。在终端中运行

安装完成，打开地址http://127.0.0.1:3000任何邮箱都可以注册 OpenWebUI

登录后，可切换语言

切换到模型，搜索模型

目前国内外市场上主流开源模型这里都可以找到

选择模型版本号

复制模型名称

删除，模型名的前缀

开始进入下载

下载完成后，即可切换模型使用了

看到很多同学对于 Llama 3 中文理解不友好的问题，也找到了解决办法是由 王慎执 博士微调后的中文版Llama 3以下为，huggingface主页https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat在搜索框搜索 shenzhi 即可找到

演示结果，不会出现英文

二次启动只需要，启动 Docker 桌面即可，并且可以完全断网使用

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/运维做开发/article/detail/768895