PEFT | Lora、AdaLora、QLora高效调参原理解析，PEFT | Prompt系列高效调参原理解析，PEFT | Transformer参数量、计算量、显存占用分析

PEFT | Lora、AdaLora、QLora高效调参原理解析，PEFT | Prompt系列高效调参原理解析，PEFT | Transformer参数量、计算量、显存占用分析。

近年来大模型高效参数微调（PEFT）的几种主流方法，并将其划分为如下两个系列（形同颜色代表一类），即prompt系列和LoRA系列。

Lora
Lora，英文全称Low-Rank Adaptation of Large Language Models，直译为大语言模型的低阶适应，是一种PEFT（参数高效性微调方法），这是微软的研究人员为了解决大语言模型微调而开发的一项技术。Lora的基本原理是冻结预训练好的模型权重参数，在冻结原模型参数的情况下，通过往模型中加入额外的网络层，并只训练这些新增的网络层参数。由于这些新增参数数量较少，这样不仅 finetune 的成本显著下降，还能获得和全模型微调类似的效果。

Lora核心思想就是通过低秩分解来模拟参数的改变量，从而以极小的参数量来实现大模型的间接训练，在涉及到矩阵相乘的模块，在原始的PLM旁边增加一个新的通路，通过前后两个