当前位置:   article > 正文

【大模型实战案例】手把手教大家微调大模型 Llama 3_llama3微调

llama3微调

节前,我们星球组织了一场算法岗技术&面试讨论会,邀请了一些互联网大厂朋友、参加社招和校招面试的同学,针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。


汇总合集:《大模型面试宝典》(2024版) 发布!


Llama 3 近期重磅发布,发布了 8B 和 70B 参数量的模型,我们对 Llama 3 进行了微调!!!

今天手把手教大家使用 XTuner 微调 Llama 3 模型。 喜欢本文记得收藏、点赞、关注。更多技术,可以加入我们交流群。

Llama 3 概览

首先我们来回顾一下 Llama 3 亮点概览~

  1. 首次出现 8B 模型,且 8B 模型与 70B模型全系列使用 GQA (Group Query Attention)。

  2. 最大模型达到 400B 规模大小,未来几个月内发布!

  3. 分词器由 SentencePiece 换为了 Tiktoken,与 GPT4 保持一致。

  4. 相比于 Llama2 的 32000 词表大小,Llama3 的词表大小来到了惊人的 128256。

  5. 数据方面上,Llama3 使用了约 15T token 用于模型的训练。

  6. 开源模型大小为 8B 和 70B 两种,每种规模均有开源基座模型和 instruct 模型。

  7. Llama3 8B Instruct 模型在数学与代码能力方面数倍于 Llama2 7B chat 模型。

2*A100 即可全量微调

8K 上下文 Llama3 8B

在正式实战之前我们先看一下 XTuner 团队对 Llama 3 8B 的性能测试结果,XTuner 团队在 Llama 3 发布之后光速进行了支持并进行了测速,以下使用不同数量 GPU 全量微调 Llama3 8B 时的训练效率,仅需 2 * A100 80G 即可全量微调 8k 上下文 Llama3 8B

实践教程

Web Demo 部署

本小节将带大家手把手在 InternStudio 部署 Llama3 Web Demo。

图片

环境配置

conda create -n llama3 python=3.10
conda activate llama3
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia

conda install git
git-lfs install
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

下载 Llama3 模型

首先通过 OpenXLab 下载 Llama-3-8B-Instruct 这个模型。

mkdir -p ~/model
cd ~/model
git clone https://code.openxlab.org.cn/MrCat/Llama-3-8B-Instruct.git Meta-Llama-3-8B-Instruct
  • 1
  • 2
  • 3

或者软链接 InternStudio 中的模型。

ln -s /root/share/new_models/meta-llama/Meta-Llama-3-8B-Instruct \
    ~/model/Meta-Llama-3-8B-Instruct
  • 1
  • 2

安装 XTuner

cd ~
git clone -b v0.1.18 https://github.com/InternLM/XTuner
cd XTuner
pip install -e .
  • 1
  • 2
  • 3
  • 4

运行 web_demo.py

streamlit run ~/Llama3-XTuner-CN/tools/internstudio_web_demo.py \
  /root/model/Llama-3-8B-Instruct
  • 1
  • 2

通过此命令我们就成功本地运行 Llama3 的 Web Demo 了可以愉快的和它对话了,此时问“你是”,模型的自我认识是 Llama。

图片

XTuner 微调 Llama 3 个人小助手认知

在本节我们尝试让 Llama3 有"它是SmartFlowAI打造的人工智能助手"的自我认知,最终效果图如下所示:

图片

自我认知训练数据集准备

首先我们通过以下脚本制作自我认知的数据集。

cd ~/Llama3-XTuner-CN
python tools/gdata.py
  • 1
  • 2

数据生成脚本 gdata.py 如下所示,实现了产生 2000 条自我认知的数据的功能,在正式环境中我们需要对各种数据进行配比,为了社区同学们能够快速上手,本例子就采用了过拟合的方式。

import json

# 输入你的名字或者机构
name = 'SmartFlowAI'
# 重复次数
n = 2000

data = [
    {
        "conversation": [
            {
                "system":"你是一个懂中文的小助手",
                "input": "你是(请用中文回答)",
                "output": "您好,我是 {},一个由 SmartFlowAI 打造的人工智能助手,请问有什么可以帮助您的吗?".format(name)
            }
        ]
    }
]

for i in range(n):
    data.append(data[0])

with open('data/personal_assistant.json', 'w', encoding='utf-8') as f:
    json.dump(data, f, ensure_ascii=False, indent=4)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24

以上脚本在生成了 ~/Llama3-XTuner-CN/data/personal_assistant.json 数据文件格式如下所示:

[
    {
        "conversation": [
            {
                "system": "你是一个懂中文的小助手",
                "input": "你是(请用中文回答)",
                "output": "您好,我是SmartFlowAI,一个由 SmartFlowAI 打造的人工智能助手,请问有什么可以帮助您的吗?"
            }
        ]
    },
    {
        "conversation": [
            {
                "system": "你是一个懂中文的小助手",
                "input": "你是(请用中文回答)",
                "output": "您好,我是SmartFlowAI,一个由 SmartFlowAI 打造的人工智能助手,请问有什么可以帮助您的吗?"
            }
        ]
    },
········· 此处省略 
]
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21

XTuner 配置文件准备

配置文件链接:

https://github.com/SmartFlowAI/Llama3-XTuner-CN/blob/main/configs/assistant/llama3_8b_instruct_qlora_assistant.py

训练模型

cd /root/project/llama3-ft

xtuner train configs/assistant/llama3_8b_instruct_qlora_assistant.py --work-dir /root/llama3_pth

# Adapter PTH 转 HF 格式
xtuner convert pth_to_hf /root/llama3_pth/llama3_8b_instruct_qlora_assistant.py \
  /root/llama3_pth/iter_500.pth \
  /root/llama3_hf_adapter

# 模型合并
export MKL_SERVICE_FORCE_INTEL=1
xtuner convert merge /root/model/Meta-Llama-3-8B-Instruct \
  /root/llama3_hf_adapter\
  /root/llama3_hf_merged
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14

推理验证

streamlit run ~/Llama3-XTuner-CN/tools/internstudio_web_demo.py \
  /root/llama3_hf_merged
  • 1
  • 2

图片

技术交流群

前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~

我们建了算法岗技术与面试交流群, 想要获取最新面试题、了解最新面试动态的、需要源码&资料、提升技术的同学,可以直接加微信号:mlc2040。加的时候备注一下:研究方向 +学校/公司+CSDN,即可。然后就可以拉你进群了。

方式①、微信搜索公众号:机器学习社区,后台回复:加群
方式②、添加微信号:mlc2040,备注:技术交流

面试精选

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/731601
推荐阅读
相关标签
  

闽ICP备14008679号