第十四章：huggingface的LoRA原理与相关文件保存方法_huggingface lora实现

前言

在huggingface中，很多情况是使用LoRA方法来训练模型。有关LoRA训练获得权重与加载，以及如何LoRA继续resume训练等问题，尚未有一个较好文章说明。因此，本文将详细说明LoRA相关内容。首先介绍了LoRA（Low-Rank Adaptation）的原理及相关内容；其次也对训练相关各种模型权重、LoRA权重、配置文件、优化器、调度器以及训练器状态和随机状态保存方法；接着给出了关于LoRA训练与恢复方法Demo与介绍，包括LoraConfig配置文件介绍和PEFT的LoRA训练；并进一步解读huggingface训练期间的LoRA权重等内容加载源码解读；最后，给出训练完后LoRA权重如何与原始模型合并Demo，以此实现模型推理。而本文是给出LoRA原理与huggingface对相关文件保存内容源码解读。

一、LoRA原理介绍

参考此文章，非常详细：https://blog.csdn.net/lsb2002/article/details/135310752

二、huggingface保存模型权重、LoRA权重、config配置文件、optimizer、scheduler、trainer_state状态与随机状态

尽管在resume文章中也提到过相关文件保存，但我这里也再次给出，并补充与LoRA相关载入方法。

1、model.safetensors保存

通过TrainingArguments给save_safetensors=True实现保存&