本地部署 Llama3 – 8B/70B 大模型！_llama3 70b本地部署显存要求

Llama3，作为Meta公司新发布的大型语言模型，在人工智能领域引起了广泛的关注。特别是其8B（80亿参数）版本，在性能上已经超越了GPT-3.5，而且由于是开源的，用户可以在自己的电脑上进行部署。

本文和大家分享一下如何在个人电脑上部署Llama3，拥有你自己的GPT-3.5+!

很多读者担心本地部署时个人电脑的硬件配置不够，实际上这种担心是多余的，笔者使用的是游戏本，主要通过GPU跑大模型(建议8g起步，CPU也可以，不过比较慢)，硬件配置如下：

• CPU i9-12900HX 16核24线程
• GPU RTX4060-8G
• RAM 32G

步骤大致如下：

• 安装Ollama
• 安装Docker Desktop
• 下载WebUI
• 下载Llama3并切换模型

一、安装Ollama

1.下载Ollama

Ollama，支持多平台！Windows / Mac /Linux 都可以运行
笔者这边是windows，读者们根据自己的环境，点击下载

2.安装

双击下载好的.exe文件，点击install

当电脑右下角弹窗出现下图，即已安装完成

二、Windows电脑打开WLS功能

1. 点击windows搜索
2. 输入启用或关闭windows功能
3. 点击运行

4. 弹出windows功能界面
5. 勾选-适用于Linux的Windows子系统
6. 点击确定
7. 配置完成后需要立即重启电脑

三、安装Docker Desktop

1.下载

Docker Desktop

2.安装

双击下载好的.exe文件，点击ok，会自动安装docker环境

安装好后点击重启电脑

重启后会自动运行docker桌面版，点击Finish

看到如下界面代表已经安装完成，完成后会提示让我们注册docker账号，忽略就行

四、本地安装webUI

1. 打开windoiws搜索

输入cmd，运行

2. 选择运行方式

将代码复制，右键粘贴进终端，按回车，会自动下载并安装Webui，笔者这边选择GPU方式

a.在CPU下运行

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

1
2

b.在GPU下运行

docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

1
2

3. 下载会比较慢

建议提前做好全局科学上网
如下图即已在下载安装中

4. 提示弹窗，点击允许

5. 如下图显示即已安装完成

6. 通过地址访问

安装完成通过本地地址在浏览器端：[http://127.0.0.1:3000]进行访问，看到如下图所示，即成功访问

五、使用

1. 注册

点击Sign up

名称随便填写，邮箱确保输入正确，输入好后点击创建，创建成功后会自动跳转至聊天对话页面

2. 切换中文

点击设置图标，找到语言，选择chinese，点击保存

3. 下载模型

点击设置，点击模型，点击可下载的模型

这边选择llama3

选择8b（8b，80 亿参数）
70b的模型建议4090显卡再上

将llama3:8b 复制出来，粘贴至下方如图所示，再点击下载（可同时下载多个模型）

当进度条为100%时，模型下载成功

4. 切换模型

点击主界面选择模型，选择llama3:8b，至此，模型切换成功

六、效果展示

输入

输出

七、总结

1. 优点

1. 本地部署大模型可带来飞一般的体验，可降低延迟
2. 可微调属于私人的大模型
3. 数据安全得以保证

2. 缺点

1. 对硬件要求比较高，是个头疼的问题
2. 大规模模型的训练和推理过程耗能巨大，可能对环境造成一定影响

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。