glm4-9b的lora.yaml文件说明_qlora.yml设置为本地模型及数据集

data_config:
  train_file: train.jsonl  # 训练数据文件路径
  val_file: dev.jsonl  # 验证数据文件路径
  test_file: dev.jsonl  # 测试数据文件路径
  num_proc: 1  # 处理数据时使用的进程数量

combine: True  # 是否组合输入和输出序列
max_input_length: 512  # 输入序列的最大长度
max_output_length: 512  # 输出序列的最大长度

training_args:
  output_dir: ./output  # 输出目录，用于保存模型和检查点
  max_steps: 3000  # 最大训练步数
  learning_rate: 5e-4  # 学习率
  per_device_train_batch_size: 1  # 每个设备的训练批次大小
  dataloader_num_workers: 16  # 数据加载器使用的线程数量
  remove_unused_columns: false  # 是否移除未使用的列
  save_strategy: steps  # 检查点保存策略
  save_steps: 500  # 每多少步保存一次检查点
  log_level: info  # 日志记录级别
  logging_strategy: steps  # 日志记录策略
  logging_steps: 10  # 每多少步记录一次日志
  per_device_eval_batch_size: 4  # 每个设备的评估批次大小
  eval_strategy: steps  # 评估策略
  eval_steps: 500  # 每多少步进行一次评估
  predict_with_generate: true  # 是否使用生成模式进行预测
  generation_config:
    max_new_tokens: 512  # 生成的最大新标记数
  # deepspeed: configs/ds_zero_3.json  # DeepSpeed配置文件路径

peft_config:
  peft_type: LORA  # 微调类型
  task_type: CAUSAL_LM  # 任务类型
  r: 8  # LORA的秩参数
  lora_alpha: 32  # LORA的缩放因子
  lora_dropout: 0.1  # LORA的dropout率
  target_modules: ["query_key_value"]  # 目标模块

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38

data_config

数据这部分的就不举例说明了，相信大家都明白

combine: True

combine 参数决定了输入和输出序列是否合并处理。合并处理指的是将输入和输出序列拼接成一个完整的序列，在训练时一起考虑。这在对话生成任务中尤其常见。
例子：
假设你有一个对话数据集，其中每个对话包含用户和机器人的多轮交互。

• 用户输入（input）：“你好，今天的天气怎么样？”
• 机器人输出（output）：“今天的天气很好，适合出门。”
  如果 combine: True，则输入序列和输出序列将被拼接成一个序列，如下所示

[CLS] 你好，今天的天气怎么样？ [SEP] 今天的天气很好，适合出门。 [EOS]
1

这样，模型在训练时会同时看到输入和输出，并尝试生成输出部分。
详细说明和举例
示例对话数据
假设我们有以下对话数据：

{
  "messages": [
    {"role": "user", "content": "你好，今天的天气怎么样？"},
    {"role": "assistant", "content": "今天的天气很好，适合出门。"},
    {"role": "user", "content": "那我应该穿什么衣服呢？"},
    {"role": "assistant", "content": "你可以穿轻便的衣服，比如T恤和短裤。"}
  ]
}
1
2
3
4
5
6
7
8

combine = True 的情况
如果 combine 设置为 True，输入和输出序列将被合并。例如

[CLS] 你好，今天的天气怎么样？ [SEP] 今天的天气很好，适合出门。 [SEP] 那我应该穿什么衣服呢？ [SEP] 你可以穿轻便的衣服，比如T恤和短裤。 [EOS]
1

max_input_length

参数指定输入序列的最大长度。输入序列超过这个长度将被截断。
例子：
假设 max_input_length 设置为 512 字符，以下是两个场景：
1、输入序列长度小于 512 字符：

"你好，今天的天气怎么样？"
1

这个输入长度为 11 字符，小于 512，因此不会被截断。
2、输入序列长度大于 512 字符：

"你好，今天的天气怎么样？" + "更多文字..."（超过 512 字符）
1

在这种情况下，输入序列会被截断到前 512 个字符。

max_output_length

同理max_input_length

max_steps

作用：最大训练步数。指定训练过程中最大的步数限制，一旦达到这个步数，训练过程就会终止。
在训练过程中的表现：模型将进行最多3000个训练步。
例子：假设我们有一个训练过程，每个epoch包含1000个训练样本。如果设置 max_steps: 3000，即使有多个epoch，每个epoch包含1000步，训练也将在达到第3000步时停止，而不再继续。

learning_rate

作用：学习率，用于优化模型。决定了每一步参数更新的步长。
在训练过程中的表现：每一步参数更新时，学习率影响梯度的大小。
例子：假设初始权重为 w，梯度为 g，更新后的权重 w’ 计算公式为 w’ = w - learning_rate * g。如果 learning_rate 设置为 0.0005（即 5e-4），那么每一步的更新步长为 0.0005 倍的梯度。

per_device_train_batch_size

作用：每个设备（例如GPU）的训练批次大小。决定每个训练步中每个设备上处理的样本数量。
在训练过程中的表现：每个GPU将处理1个样本。
例子：如果有两个GPU，且 per_device_train_batch_size 设置为 1，那么每个训练步总共处理 2 个样本（每个GPU处理1个样本）。

dataloader_num_workers

作用：数据加载器使用的线程数量。用于并行加载数据，提高数据读取效率。
在训练过程中的表现：数据加载时，使用16个并行线程读取数据，提高数据加载速度。
例子：如果 dataloader_num_workers 设置为 16，则在每次读取数据时，数据加载器会使用16个线程并行读取数据，从而减少等待数据加载的时间。

remove_unused_columns: false

作用：是否移除未使用的列。指定是否在处理数据时移除未使用的列。
在训练过程中的表现：如果设置为 false，则保留数据集中的所有列。
例子：假设数据集包含列 [‘input’, ‘output’, ‘extra_info’]，模型只使用 input 和 output 列，如果 remove_unused_columns 设置为 false，extra_info 列将保留在数据集中。

save_strategy: steps

作用：检查点保存策略。指定保存模型检查点的策略，可以是按步保存（steps）或按epoch保存（epoch）。
在训练过程中的表现：模型将在指定的步数后保存一个检查点。
例子：如果 save_strategy 设置为 steps，并且 save_steps 设置为 500，则每500步保存一次检查点。

save_steps: 500

作用：每多少步保存一次检查点。
在训练过程中的表现：每达到500步时保存一个模型检查点。
例子：如果训练过程设定了 max_steps 为 3000，那么在训练过程中，将分别在第500步、第1000步、第1500步、第2000步、第2500步和第3000步保存检查点。

---

1.初始化和设置：
模型初始化并加载数据。
数据加载器使用16个线程并行加载数据。
每个设备的训练批次大小设置为1。
2.训练开始：
第一步到第五百步：
学习率设置为 0.0005，每步更新时按照该学习率调整模型参数。
每一步处理每个设备上的一个样本。
模型在每500步后保存一次检查点到 ./output 目录。
第500步：
保存第一个检查点 checkpoint-500。
第501步到第1000步：
继续训练，每步处理每个设备上的一个样本，学习率保持不变。
第1000步：
保存第二个检查点 checkpoint-1000。
3.继续训练：
每500步保存一次检查点，直到达到最大步数 3000：
第1500步保存 checkpoint-1500。
第2000步保存 checkpoint-2000。
第2500步保存 checkpoint-2500。
第3000步保存 checkpoint-3000 并结束训练。
通过这些参数的详细设置，可以有效地控制训练过程中的各种细节，从而优化训练效率和模型性能。

log_level

作用：日志记录级别，指定记录的日志详细程度。
在训练过程中的表现：记录信息级别的日志，包括训练进度、损失值等重要信息。
例子：如果设置为 info，训练过程会记录所有信息级别及以上的日志，例如每次保存检查点、每次评估等。

logging_strategy: steps

作用：日志记录策略，指定日志记录的频率策略，可以按步（steps）或按epoch（epochs）记录。
在训练过程中的表现：按照步数记录日志。
例子：如果设置为 steps，日志将按照指定步数记录。

logging_steps: 10

作用：每多少步记录一次日志。
在训练过程中的表现：每10步记录一次日志。
例子：假设 logging_steps 设置为 10，那么训练过程中每10步将记录一次日志，包括损失值、当前步数等信息。

per_device_eval_batch_size: 4

作用：每个设备的评估批次大小。
在训练过程中的表现：每个GPU在评估时处理4个样本。
例子：如果有两个GPU，且 per_device_eval_batch_size 设置为 4，那么每次评估时每个GPU处理4个样本，总共处理8个样本。

eval_strategy: steps

作用：评估策略，指定评估的频率策略，可以按步（steps）或按epoch（epochs）进行评估。
在训练过程中的表现：按照步数进行评估。
例子：如果设置为 steps，模型将按照指定步数进行评估。

eval_steps: 500

作用：每多少步进行一次评估。
在训练过程中的表现：每500步进行一次评估。
例子：假设 eval_steps 设置为 500，那么训练过程中每500步将进行一次评估，计算模型的性能指标。

predict_with_generate: true

作用：是否使用生成模式进行预测。
在训练过程中的表现：在评估和预测时，模型将生成文本输出而不是仅计算损失。
例子：如果设置为 true，在进行预测时，模型将根据输入生成文本，并将生成的文本作为输出。

generation_config

作用：生成配置，指定生成文本的具体参数。
在训练过程中的表现：配置生成文本的行为，例如生成的最大新标记数。
例子：包含 max_new_tokens: 512，表示生成的最大新标记数为512个标记。

---

举例说明：
1.初始化和设置：

• 设置日志记录级别为 info。
• 日志记录策略为按步（steps）记录，每10步记录一次日志。
• 每个GPU评估时处理4个样本。
• 评估策略为按步（steps）进行，每500步进行一次评估。
• 预测时使用生成模式。
• 生成配置为最大新标记数为512。
  2.训练开始：
• 前10步：
  • 训练过程中每10步记录一次日志，包括当前步数、损失值等信息。
  • 例如在第10步时，记录日志如下：

[INFO] Step 10: loss=0.5432
1

• 第500步：
  • 进行评估，评估时每个GPU处理4个样本，总共评估8个样本。
  • 使用生成模式进行预测，生成的最大新标记数为512。
  • 评估完成后记录评估结果，如损失值、生成的文本等。

3.继续训练：

• 每10步记录一次日志，直到训练结束：

  • 第20步记录日志：

[INFO] Step 20: loss=0.5123
1

 - 第30步记录日志：
1

[INFO] Step 30: loss=0.4876
1

• 每500步进行一次评估：
  • 第1000步进行评估，记录评估结果：

[INFO] Evaluation at step 1000: eval_loss=0.4567
1

4.预测和生成：
在每次评估时，使用生成模式进行预测，生成的文本长度最多为512个新标记。
例如，在评估时输入一个句子，模型生成的输出如下：

输入：你好，今天天气怎么样？
输出：今天的天气很好，适合出门。你可以去公园散步，享受阳光。
1
2

通过这些参数的详细设置，可以有效地控制训练过程中的日志记录、评估频率和预测生成行为，从而优化训练和评估的效率及结果。