lora微调实战技巧

llama-factory 计算学习率

检查数据长度

首先，运行检查数据长度的脚本以确保没有数据长度超过1024。如果有，需要增加cutoff len参数。

python src/length_cdf.py \
--model_name_or_path /home/models/Baichuan2-13B-Chat \
--dataset identity \
--template baichuan2
1
2
3
4

请注意，将相应的路径和选项替换为你的实际值。

复制学习率计算脚本

如果所有数据长度均小于1024，可以继续复制计算学习率的脚本。

cp scripts/cal_lr.py src/cal_lr.py
1

计算学习率

运行计算学习率的脚本，确保参数根据你的实际情况进行调整。

python src/cal_lr.py \
--model_name_or_path /root/.cache/huggingface/Llama3-8B-Chinese-Chat/ 
--dataset_dir /app/data/llama-factory/data/finance 
    --dataset yinlian-sharegpt-2024-0528-clear,yinlian_data_neixun_0528-1,yinlian_data_neixun-1,yinlian_data_waihu,yinlian-sharegpt-240411 --cutoff_len 1024 --batch_size 8
1
2
3
4

完整过程示例

# Step 1: Check data length
python src/length_cdf.py \
--model_name_or_path /home/models/Baichuan2-13B-Chat \
--dataset identity \
--template baichuan2

# Step 2: Copy learning rate calculation script
cp scripts/cal_lr.py src/cal_lr.py

# Step 3: Calculate learning rate
python src/cal_lr.py \
--model_name_or_path /home/models/Baichuan2-13B-Chat \
--dataset identity  --cutoff_len 1024 --batch_size 8



1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16