LLaMA-Factory 微调训练_llama factory训练rlhf全流程

该框架功能，标注-微调-导出-合并-部署，一整条流程都有，而且训练时消耗的gpu算力也会小一些

一，安装（推荐在linux中训练，win可以用wsl+docker）

git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory

# 根据cuda版本选择安装pytoch版本
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
# 提前把gpu版本的torch安装好
pip install -e .[torch,metrics]

# 遇到包冲突时，使用 pip install --no-deps -e . 解决
1
2
3
4
5
6
7
8
9

# 测试torch是否可用gpu
命令行输入python

import torch
print(torch.cuda.is_available())  #返回True则说明torch可用gpu
1
2
3
4
5

二，训练
1，数据集的准备和配置
参考：https://github.com/hiyouga/LLaMA-Factory/blob/main/data/README_zh.md

# 我自己使用的是 角色对话 的数据集格式

[
  {
    "conversations": [
      {
        "from": "human",
        "value": "人类指令"
      },
      {
        "from": "gpt",
        "value": "模型回答"
      }
    ],
    "system": "系统提示词（选填）",
  }
]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

需要同步修改 dataset_info.json 中的配置（开始训练时会根据这个文件去找定义好的存放数据的json文件）

 "yi_6b_chat": {
    "file_name": "yi_6b_chat_520_24000.json",
    "formatting": "sharegpt", # 表示数据使用的格式
    "tags": { # 和数据集中的格式一一对应 
      "role_tag": "from",
      "content_tag": "value",
      "user_tag": "human",
      "assistant_tag": "gpt"
    }
  },
1
2
3
4
5
6
7
8
9
10

2，训练，启动web ui界面（ui 界面训练只支持单卡，多卡只能通过命令行训练）

训练命令：

CUDA_VISIBLE_DEVICES=0 GRADIO_SHARE=1 llamafactory-cli webui
1

三，vllm部署（不一定是llama3的模型，自己根据 llama3_vllm.yaml 配置修改就行，配置文件中也可用修改用huggingface部署）
1，vllm安装很多坑，pytorch版本和cuda版本必须保持一致兼容，使用pytoch的docker镜像可用省事很多，先看pytorch的版本，pytorch版本11.8，12.1，最好是cuda11.8版本的cuda和torch
2，vllm启动会预先分配一定的显存，也可用自行修改，如还有其他应用要启动，可用调低一些

启动命令：

CUDA_VISIBLE_DEVICES=0,1 API_PORT=8000 llamafactory-cli api examples/inference/llama3_vllm.yaml
1