大模型预训练教程——chatglm3-6b_glm3 6b 怎么将一篇文档训练到模型里

LLaMA-Factory大模型预训练教程——chatglm3-6b

ChatGlm3-sft

CUDA_VISIBLE_DEVICES=3 python src/train_bash.py \
    --stage sft \
    --do_train \
    --model_name_or_path /home/isi/LLM/models/chatglm3-6b \
    --dataset data_bc \
    --template chatglm3 \
    --finetuning_type lora \
    --lora_target query_key_value \
    --output_dir out/chatglm3 \
    --overwrite_cache \
    --per_device_train_batch_size 4 \
    --gradient_accumulation_steps 4 \
    --lr_scheduler_type cosine \
    --logging_steps 10 \
    --save_steps 1000 \
    --learning_rate 1e-3 \
    --num_train_epochs 10.0 \
    --plot_loss \
    --fp16
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

模型导出

python src/export_model.py \
    --model_name_or_path /home/isi/LLM/models/chatglm3-6b \
    --adapter_name_or_path  out/chatglm3 \
    --template chatglm3 \
    --finetuning_type lora \
    --export_dir out/ex08 \
    --export_size 2 \
    --export_legacy_format False 
export_size
#导出模型的文件分片大小（以 GB 为单位）。 (默认: 1)
1
2
3
4
5
6
7
8
9
10

模型本地测试

python src/cli_demo.py \
    --model_name_or_path out/ex08/ \
    --template chatglm3 \
    --finetuning_type lora
1
2
3
4

生成API服务

CUDA_VISIBLE_DEVICES=1 API_PORT=9008 nohup python src/api_demo.py \
    --model_name_or_path out/ex08/ \
    --template chatglm3 \
    --finetuning_type lora >logs/info.out  2>&1 &
1
2
3
4

参数注释

 
-h, --help            显示帮助信息并退出
--model_name_or_path MODEL_NAME_OR_PATH
                      模型权重的路径或标识符，来自 huggingface.co/models 或 modelscope.cn/models。 (默认: None)
--adapter_name_or_path ADAPTER_NAME_OR_PATH
                      适配器权重的路径或标识符，来自 huggingface.co/models。 (默认: None)
--cache_dir CACHE_DIR
                      存储从 huggingface.co 或 modelscope.cn 下载的预训练模型的位置。 (默认: None)
--use_fast_tokenizer [USE_FAST_TOKENIZER]
                      是否使用基于 tokenizers 库支持的快速分词器。 (默认: True)
--no_use_fast_tokenizer
                      是否使用基于 tokenizers 库支持的快速分词器。 (默认: False)
--split_special_tokens [SPLIT_SPECIAL_TOKENS]
                      是否在标记化过程中拆分特殊标记。 (默认: False)
--model_revision MODEL_REVISION
                      要使用的特定模型版本（可以是分支名称、标签名称或提交 ID）。 (默认: main)
--quantization_bit QUANTIZATION_BIT
                      量化模型所需的位数。 (默认: None)
--quantization_type {fp4,nf4}
                      在 int4 训练中使用的量化数据类型。 (默认: nf4)
--double_quantization [DOUBLE_QUANTIZATION]
                      是否在 int4 训练中使用双重量化。 (默认: True)
--no_double_quantization
                      是否在 int4 训练中使用双重量化。 (默认: False)
--rope_scaling {linear,dynamic}
                      采用缩放的旋转位置嵌入。 (默认: None)
--flash_attn [FLASH_ATTN]
                      启用 FlashAttention-2 以加速训练。 (默认: False)
--shift_attn [SHIFT_ATTN]
                      启用由 LongLoRA 提出的 Shift Short Attention（S^2-Attn）。 (默认: False)
--hf_hub_token HF_HUB_TOKEN
                      用于登录 Hugging Face Hub 的身份验证令牌。 (默认: None)
--ms_hub_token MS_HUB_TOKEN
                      用于登录 ModelScope Hub 的身份验证令牌。 (默认: None)
--template TEMPLATE   用于构建训练和推断提示的模板。 (默认: None)
--dataset DATASET     要使用的提供的数据集名称。使用逗号分隔多个数据集。 (默认: None)
--dataset_dir DATASET_DIR
                      包含数据集的文件夹路径。 (默认: data)
--split SPLIT         用于训练和评估的数据集拆分。 (默认: train)
--cutoff_len CUTOFF_LEN
                      标记化后模型输入的最大长度。 (默认: 1024)
--reserved_label_len RESERVED_LABEL_LEN
                      标记化后为标签保留的最大长度。 (默认: 1)
--train_on_prompt [TRAIN_ON_PROMPT]
                      是否在提示上禁用掩码。 (默认: False)
--streaming [STREAMING]
                      启用数据集流式处理。 (默认: False)
--buffer_size BUFFER_SIZE
                      在数据集流式处理中用于随机抽样的缓冲区大小。 (默认: 16384)
--mix_strategy {concat,interleave_under,interleave_over}
                      数据集混合策略（连接/交错）（欠采样/过采样）。 (默认: concat)
--interleave_probs INTERLEAVE_PROBS
                      从数据集中抽样数据的概率。使用逗号分隔多个数据集。 (默认: None)
--overwrite_cache [OVERWRITE_CACHE]
                      覆盖缓存的训练和评估集。 (默认: False)
--preprocessing_num_workers PREPROCESSING_NUM_WORKERS
                      用于预处理的进程数。 (默认: None)
--max_samples MAX_SAMPLES
                      用于调试目的，截断每个数据集的示例数。 (默认: None)
--eval_num_beams EVAL_NUM_BEAMS
                      
 
 用于评估的束搜索数。该参数将传递给 `model.generate`。 (默认: None)
--ignore_pad_token_for_loss [IGNORE_PAD_TOKEN_FOR_LOSS]
                      是否在损失计算中忽略与填充标签相对应的标记。 (默认: True)
--no_ignore_pad_token_for_loss
                      是否在损失计算中忽略与填充标签相对应的标记。 (默认: False)
--val_size VAL_SIZE   开发集的大小，应为整数或范围为 `[0,1)` 的浮点数。 (默认: 0)
--sft_packing [SFT_PACKING]
                      在监督微调阶段对问题和答案进行打包。 (默认: False)
--cache_path CACHE_PATH
                      保存或加载预处理数据集的路径。 (默认: None)
--export_dir EXPORT_DIR
                      保存导出模型的目录路径。 (默认: None)
--export_size EXPORT_SIZE
                      导出模型的文件分片大小（以 GB 为单位）。 (默认: 1)
--export_quantization_bit EXPORT_QUANTIZATION_BIT
                      用于量化导出模型的位数。 (默认: None)
--export_quantization_dataset EXPORT_QUANTIZATION_DATASET
                      用于量化导出模型的数据集路径或数据集名称。 (默认: None)
--export_quantization_nsamples EXPORT_QUANTIZATION_NSAMPLES
                      用于量化的样本数。 (默认: 128)
--export_quantization_maxlen EXPORT_QUANTIZATION_MAXLEN
                      用于量化的模型输入的最大长度。 (默认: 1024)
--dpo_beta DPO_BETA   DPO 损失的 beta 参数。 (默认: 0.1)
--dpo_loss {sigmoid,hinge}
                      要使用的 DPO 损失类型。 (默认: sigmoid)
--dpo_ftx DPO_FTX     DPO 训练中的监督微调损失系数。 (默认: 0)
--ppo_buffer_size PPO_BUFFER_SIZE
                      在 PPO 优化步骤中创建经验缓冲区的小批次数。 (默认: 1)
--ppo_epochs PPO_EPOCHS
                      在 PPO 优化步骤中执行的周期数。 (默认: 4)
--ppo_logger PPO_LOGGER
                      在 PPO 训练中记录日志，使用 "wandb" 或 "tensorboard"。 (默认: None)
--ppo_score_norm [PPO_SCORE_NORM]
                      在 PPO 训练中使用分数归一化。 (默认: False)
--ppo_target PPO_TARGET
                      用于自适应 KL 控制的目标 KL 值，在 PPO 训练中。 (默认: 6.0)
--ppo_whiten_rewards [PPO_WHITEN_REWARDS]
                      在 PPO 训练中计算优势之前是否漂白奖励。 (默认: False)
--ref_model REF_MODEL
                      用于 PPO 或 DPO 训练的参考模型路径。 (默认: None)
--ref_model_adapters REF_MODEL_ADAPTERS
                      参考模型的适配器路径。 (默认: None)
--ref_model_quantization_bit REF_MODEL_QUANTIZATION_BIT
                      用于量化参考模型的位数。 (默认: None)
--reward_model REWARD_MODEL
                      用于 PPO 训练的奖励模型路径。 (默认: None)
--reward_model_adapters REWARD_MODEL_ADAPTERS
                      奖励模型的适配器路径。 (默认: None)
--reward_model_quantization_bit REWARD_MODEL_QUANTIZATION_BIT
                      用于量化奖励模型的位数。 (默认: None)
--reward_model_type {lora,full,api}
                      在 PPO 训练中使用的奖励模型类型。LoRA 模型仅支持 LoRA 训练。 (默认: lora)
--additional_target ADDITIONAL_TARGET
                      除 LoRA 层之外要设置为可训练并保存在最终检查点中的模块的名称。 (默认: None)
--lora_alpha LORA_ALPHA
                      LoRA 微调的比例因子（默认为 lora_rank * 2）。 (默认: None)
--lora_dropout LORA_DROPOUT
                      LoRA 微调的 dropout 率。 (默认: 0.1)
--lora_rank LORA_RANK
                      LoRA 微调的内在维度。 (默认: 8)
--lora_target LORA_TARGET
                      要应用 LoRA 的目标模块的名称。使用逗号分隔多个模块。 (默认: None)
--create_new_adapter [CREATE_NEW_ADAPTER]
                      是否创建具有随机初始化权重的新适配器。 (默认: False)
--name_module_trainable NAME_MODULE_TRAINABLE
                      部分参数（冻结）微调的可训练模块的名称。使用逗号分隔多个模块。 (默认: mlp)
--num_layer_trainable NUM_LAYER_TRAINABLE
                      部分参数（冻结）微调的可训练层数。 (默认: 3)
--stage {pt,sft,rm,ppo,dpo}
                      训练中将执行哪个阶段。 (默认: sft)
--finetuning_type {lora,freeze,full}
                      使用哪种微调方法。 (默认: lora)
--upcast_layernorm [UPCAST_LAYERNORM]
                      是否在 fp32 中上升 layernorm 权重。 (默认: False)
--plot_loss [PLOT_LOSS]
                      是否在微调后绘制训练损失。 (默认: False)
--do_sample [DO_SAMPLE]
                      是否使用抽样，否则使用贪婪解码。 (默认: True)
--no_do_sample        是否使用抽样，否则使用贪婪解码。 (默认: False)
--temperature TEMPERATURE
                      用于调整下一个标记概率的值。 (默认: 0.95)
--top_p TOP_P         保留的最概然令牌集，其概率加起来达到 top_p 或更高。 (默认: 0.7)
 
 
  --top_k TOP_K         保留的最高概率词汇令牌数量，用于 top-k 过滤。 (默认: 50)
  --num_beams NUM_BEAMS
                        用于波束搜索的波束数量。1 表示不进行波束搜索。 (默认: 1)
  --max_length MAX_LENGTH
                        生成令牌的最大长度。可以被 max_new_tokens 覆盖。 (默认: 512)
  --max_new_tokens MAX_NEW_TOKENS
                        生成的令牌的最大数量，忽略提示中的令牌数量。 (默认: 512)
  --repetition_penalty REPETITION_PENALTY
                        重复惩罚的参数。1.0 表示无惩罚。 (默认: 1.0)
  --length_penalty LENGTH_PENALTY
                        用于基于波束的生成的长度的指数惩罚。 (默认: 1.0)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157