LLM-微调：LoRA 模型合并与保存【将利用lora训练后的lora模型与基座模型合并，将新合并的模型用作独立模型】【可以将基座模型合并多个lora模型】【也可不合并模型，前向推理计算后再合并结果】_qwen lora合并并存储模型

作者：繁依Fanyi0 | 2024-03-22 20:49:36

踩

qwen lora合并并存储模型

LLM 使用过程中最常用方法之一就是通过 LoRA 基于自己的数据对大模型进行微调，本文简单介绍 LoRA 原理以及如何合并多个 LoRA 模型并保存。


peft==0.4.0
transformers==4.29.1

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/290800