首发！Llama3纯本地部署攻略！中文方法！含秒下载通道！超越GPT4？能力如何？手把手教程！_llama3下载

睡不着！

Llama3来啦！

llama2开源颠覆整个大模型格局！Llama3的整体表现，简直！

现在！凌晨2:30！群里都在聊怎么部署！怎么下载？怎么实现中文？

它实际上中文能力，不弱！但是训练时，数据被砍了一刀！即使这样，不妨碍我们测它！

太晚了！直接进主题！

人的专注力只有10分钟！

① llama3的能力如何？详细测测！

②如何下载？国内快速下载方法！附会员国内网盘下载！

③如何纯本地部署？如何中文？需要多少算力？手把手教！

只想看部署的，直接往下拉到第三部分！

第一部分：llama3能力如何？

---

先看看官方介绍！

测试的方法和过程，看这里：

https://github.com/meta-llama/llama3/blob/main/eval_details.md
1

我们直接看结果！

8B尺寸！直接秒不久前同级的Gemma-7B！

70B尺寸！直接秒Claude3！

还有什么话说？

雄哥看他的资料，meta干了不少事情，才能有这个结果！

重新设计优化模型架构！

#A Llama 3 使用具有 128K 标记词汇表的分词器

#B 为了提高 Llama 3 推理效率，在 8B 和 70B 都采用了分组查询注意力 （GQA）

#C 在 8192 个token的序列训练模型，使用掩码确保自我注意力不会跨越边界

训练数据的优化！

Llama 3 在15T 的tokens上进行预训练，这些tokens都是从公开来源收集的。比 Llama 2 使用的数据集大 7 倍，包含的代码是 Llama 2 的 4 倍！

还有！Llama 3 预训练数据集的 5% 以上！由涵盖 30 多种语言的高质量非英语数据组成！

这就是为什么llama3懂点中文，但最擅长的，还是英文！后面我们做一个中文微调吧！他配！

更多的，雄哥不介绍了！直接在官网看吧！

https://ai.meta.com/blog/meta-llama-3/
1

想深入学习如何微调、如何应用在生产的！雄哥决定！后面用llama3做实践！这里也可以看到一些介绍！

https://llama.meta.com/docs/model-cards-and-prompt-formats/meta-llama-3
1

篇幅有限！

本次！雄哥在知识储备、逻辑推理、文本理解、多步骤计算能力、创造性能力，共5个方面！

本次测试llma3-8B模型！占用显存18G！

整个测试记录，是这样的！

雄哥先让他自己出个题，刁难自己！

雄哥：我在测试大模型能力，请你帮我出5个测试题

llama3：1. 文本分类

请将以下文本分类为“正面”或“负面”：

“今天我去商场买了件新衣服，感觉很好。”

2. 机器人对话

你是一名机器人，和人类用户进行对话。用户说：“我想去旅游，但不知道哪里好去？”你该如何回应？

3. 问题回答

请回答以下问题：

“什么是人工智能？”

4. 文本生成

请根据以下提示生成一篇短文：

“一个夏天的午后，我和朋友们去海滩度假，看到了一些美丽的海洋生物。”

5. 推理题

请根据以下信息推理：

“小明的年龄是18岁，他的父亲比他小3岁，他的母亲比他大5岁。那么，小明的父亲和母亲的年龄分别是多少？”

这些测试题旨在评估大模型的语言理解、生成和推理能力。如果你需要更多测试题或有任何其他需求，请随时问我。

感觉还行，但是没有深度，我让他再出五个！

llama3回答：

1. 如果你是一名历史学家，如何解释中国古代的「官场」体制对社会的影响？请详细描述其结构、特点和作用。

2. 在中国古代文学中，「儒家」、「道家」、「法家」三大学派的思想有什么共同点和不同点？请使用具体的例子和分析来解释。

3. 假设你是一名环境科学家，如何分析和解决中国的「大气污染」问题？请列举可能的解决方案和对环境的影响。

4. 在中国的经济发展中，「计划经济」和「市场经济」的区别是什么？请分析其优缺和对经济的影响。

5. 如果你是一名哲学家，如何解释「儒家」、「道家」、「法家」三大学派对中国古代社会的影响？请使用哲学概念和理论来分析和解 释。

那雄哥能放过它吗？

直接上难度！

雄哥问：假设你是一名环境科学家，如何分析和解决中国的「大气污染」问题？请列举可能的解决方案和对环境的影响。

llama3答：作为环境科学家，我将从多方面分析中国的「大气污染」问题，并提出可能的解决方案和对环境的影响。

分析问题

中国的「大气污染」问题是由多种因素共同导致的，包括：

1. 工业生产中的污染物排放（例如：SO2、NOx、PM10等）；

2. 交通运输中的污染物排放（例如：汽车尾气、机动车排放等）；

3. 农业生产中的污染物排放（例如：农药、 pesticides 等）；

4. 房屋和建筑中的污染物排放（例如：建筑材料中的 Formaldehyde 等）；

5. 天然气污染（例如：旱烟、森林火灾等）。

这些污染物会在大气中积聚，导致空气污染，影响人们的健康和生活质量。

解决方案

1.加强污染物排放限制：制定和实施更加严格的污染物排放标准，鼓励企业和个人采取污染控制措施。

2.推广新能源和可再生能源：鼓励使用新能源和可再生能源，例如：风力发电、太阳能发电等，减少化石燃料的使用。

3.改善交通运输方式：鼓励使用公共交通、非机动车、电动车等，减少汽车尾气的排放。

4.推广环保技术.：鼓励企业和个人使用环保技术，例如：废气处理设备、污染物捕捉系统等。

5.加强环境监管和监测：加强环境监管和监测，确保污染物排放的控制和减少。

6.推广环保文化：推广环保文化，鼓励人们参与环保活动，提高环保意识和责任感。

巴拉巴拉！太多了！还没测英文，感兴趣的自己测吧！

第二部分：如何下载？国内如何使用？

---

雄哥已经把模型和部署代码，都上传到知识星球会员盘了！国内不限速！

70B正在上传中！太大了！

当然啦！meta的huggingface官网也能下载！

你只需要在下方网址，填写姓名、邮箱等信息后，静静等待官方的通过，通过后，你就能下载了！

在这！

https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct
1

后续我们做微调，一定要模型文件在本地的！

所以！在实践组的朋友们，快下载去吧！

第三部分：如何在本地部署？

---

终于来到，最重要环节！

本次部署环境：

wsl的miniconda环境！

cuda 12.2.0+Python 3.9+miniconda+pytorch2.1.2

cuda版本不是这个的，改为一样的！否则你会出现很多报错！

部署模型：Meta-Llama-3-8B-Instruct

直接开干！

打开小企鹅，我们进入wsl环境！

先创建一个conda环境，名字叫“yiyiai”，指定3.9的Python版本！

conda create -n yiyiai python=3.9
1

激活环境！

conda activate yiyiai
1

安装pytorch！不要搞错版本！不要最新的！

conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia
1

把你下载到的部署代码和模型文件，以这样的层级关系，放进去！

回到wsl窗口！输入指令！回车！

torchrun --nproc_per_node 1 example_chat_completion.py     --ckpt_dir Meta-Llama-3-8B-Instruct/     --tokenizer_path Meta-Llama-3-8B-Instruct/tokenizer.model     --max_seq_len 512 --max_batch_size 6
1

这里，雄哥介绍一下整个指令的意思！

–nproc_per_node ：

这个参数，是模型MP值，8B模型=1！70B模型=8！

max_seq_len（最大序列长度）:

对模型性能有重要影响：如果设置得太短，可能会导致重要信息截断；如果设置得太长，可能会导致计算资源浪费，并且降低模型性能！

max_batch_size（最大批处理大小）：

在推理（推理）过程中，max_batch_size 也会影响模型能够同时处理的最大请求数量！较大的批处理大小可以提高吞吐量，但可能会增加延迟，因为模型需要等待所有请求一起处理。

回车后，你应该就来到了这个界面！

雄哥没有写UI，只是在窗口对话！关系不大！后面我们可以把他接入langchain或知识库中！

都行！

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】