GLM4-9B-chat模型微调_chatglm4微调

文本记录GLM4-9B-Chat模型进行LoRA微调的过程。

一、环境：

1. 操作系统: Ubuntu 22.04
2. CUDA:     12.1
3. GPU:        3090 x 2

  创建conda环境：

conda create -n glm4 python=3.10.14
conda activate glm4
 
cd /home/data/chatglm4-finetune

二、数据准备

  运行data_process.py将数据处理为模型指定的格式：
    {"messages": [
    {"role": "user", "content": "你好"}, 
    {"role": "assistant", "content": "我是大爱同学，由码农丹宇研发"}
    ]
   }
   
   注意：输出的格式为.jsonl

  训练集或验证集的数据量不能少于50条。

  数据生成到/home/data/chatglm4-finetune/data/whoAreYou_fix/目录下，存在一个train.jsonl和dev.jsonl

三、安装依赖

 git clone https://github.com/THUDM/GLM-4.git
 cd /home/data/chatglm4-finetune/GLM-4/basic_demo
 pip install -r requirements.txt
 
 cd /home/data/chatglm4-finetune/GLM-4/finetune_demo
 注意修改requirements.txt中的datasets>2.20.0为datasets>=2.20.0
 pip install -r requirements.txt

四、修改配置参数

    修改config/lora.yaml中的参数，主要根据数据集的大小修改max_steps和save_steps

五、微调

cd /home/data/chatglm4-finetune/GLM-4/finetune_demo
 
1.单机单卡：
CUDA_VISIBLE_DEVICES=0 python finetune.py  /home/data/chatglm4-finetune/data/whoAreYou_fix/  /home/data/model/zhipu/glm-4-9b-chat  configs/lora.yaml
 
2.单机多卡/多机多卡：
export CUDA_VISIBLE_DEVICES=0,1
OMP_NUM_THREADS=1 torchrun --standalone --nnodes=1 --nproc_per_node=2  finetune.py /home/data/chatglm4-finetune/data/whoAreYou_fix/ /home/data/model/glm-4-9b-chat configs/lora.yaml 

六、使用微调后的模型进行推理

在完成微调任务之后，我们可以查看到 output 文件夹下多了很多个checkpoint-*的文件夹，这些文件夹代表了训练的轮数。
  
  checkpoint-*的文件夹的目录下面会有adapter_config.json文件，里面有一个基模型的路径base_model_name_or_path，记录着模型基座的路径。

cd finetune_demo
CUDA_VISIBLE_DEVICES=1 python inference.py output/checkpoint-3000/ --prompt "你是谁？"

七、合并模型

将基座模型和lora微调的增量模型合并成一个完整的大模型：
 

cd /home/data/chatglm4-finetune
# 第一个参数为微调后模型的路径，后面那个参数为合并后的模型输出路径
python merge_hf2.py /home/data/chatglm4-finetune/GLM-4/finetune_demo/output/checkpoint-16000/ --out-dir ./merge_model

 merge_hf2.py的源码参见上一篇微调文章。