赞
踩
P-Tuning 是一种针对大模型进行参数高效微调的方法,它特别关注于对大规模预训练语言模型的微调过程。这种方法通过引入连续提示(continuous prompts)的方式替代传统的离散文本提示(discrete text prompt),以更少的可训练参数量来适应特定下游任务。
在P-Tuning中,通常会为输入序列添加一个或多个可学习的向量(虚拟token),这些向量作为额外的“prompt”嵌入到模型的输入序列中,用于指导模型生成与特定任务相关的输出。相比于直接对整个模型进行微调,P-Tuning仅需要调整这部分新增的prompt参数,从而显著减少所需的计算资源和时间。
具体到实际应用时,例如在Hugging Face Transformers库中实现P-Tuning的步骤可能包括:
准备数据集:根据目标任务收集并格式化相应的训练、验证数据集。
初始化模型:加载预训练的大规模语言模型,并设置模型为只训练部分参数,即只更新prompt token的嵌入。
设置优化器和损失函数:选择合适的优化器,如AdamW,并定义与任务相匹配的损失函数。
微调循环:将带有可学习prompt的输入喂给模型,然后计算损失并反向传播更新prompt参数。
验证与评估:在验证集上监控性能,并根据需求调整超参数或提前停止训练。
测试与部署:完成训练后,在测试集上评估模型性能,并将微调好的模型应用于实际场景。
随着技术的发展,P-Tuning已经迭代到了多个版本(如P-Tuning v1/v2等),每个版本可能有其独特的设计和优化策略。
下面简单介绍通过peft使用p-tuning对模型进行微调训练的简单流程。
# 基于peft使用P tuning对生成式对话模型进行微调
from datasets import Dataset
from transformers import AutoTokenizer, AutoModelForCausalLM, DataCollatorForSeq2Seq, TrainingArguments, Trainer
# 加载数据集
ds = Dataset.load_from_disk("/alpaca_data_zh")
print(ds[:3])
# 数据集处理 tokenizer = AutoTokenizer.from_pretrained("../models/bloom-1b4-zh") # 数据处理函数 def process_func(example): MAX_LENGTH = 256 input_ids, attention_mask, labels = [], [], [] instruction = tokenizer("\n".join(["Human: " + example["instruction"], example["input"]]).strip() + "\n\nAssistant: ") response = tokenizer(example["output"] + tokenizer.eos_token) input_ids = instruction["input_ids"] + response["input_ids"] attention_mask = instruction["attention_mask"] + response["attention_mask"] labels = [-100] * len(instruction["input_ids"]) + response["input_ids"] if len(input_ids) > MAX_LENGTH: input_ids = input_ids[:MAX_LENGTH] attention_mask = attention_mask[:MAX_LENGTH] labels = labels[:MAX_LENGTH] return { "input_ids": input_ids, "attention_mask": attention_mask, "labels": labels } # 数据处理 tokenized_ds = ds.map(process_func, remove_columns=ds.column_names) tokenized_ds
# 创建模型
model = AutoModelForCausalLM.from_pretrained("../models/bloom-1b4-zh", low_cpu_mem_usage=True)
# 模型微调 from peft import PromptEncoderConfig, TaskType, get_peft_model, PromptEncoderReparameterizationType # 微调参数配置 config = PromptEncoderConfig(task_type=TaskType.CAUSAL_LM, num_virtual_tokens=10, encoder_reparameterization_type=PromptEncoderReparameterizationType.MLP, # 有MLP跟LSTM可选 encoder_dropout=0.1, encoder_num_layers=5, encoder_hidden_size=512) # 创建微调模型 model = get_peft_model(model, config) # 查看微调参数 model.print_trainable_parameters()
# 配置训练参数 args = TrainingArguments( output_dir="./peft_model", per_device_train_batch_size=1, gradient_accumulation_steps=8, logging_steps=10, num_train_epochs=1 ) # 创建训练器 trainer = Trainer( model=model, args=args, train_dataset=tokenized_ds, data_collator=DataCollatorForSeq2Seq(tokenizer=tokenizer, padding=True), )
# 模型训练
trainer.train()
# 模型推理
model = model.cuda()
ipt = tokenizer("Human: {}\n{}".format("领导不干活怎么办?", "").strip() + "\n\nAssistant: ", return_tensors="pt").to(model.device)
print(tokenizer.decode(model.generate(**ipt, max_length=256, do_sample=True)[0], skip_special_tokens=True))
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。