LoRA：语言模型微调的计算资源优化策略_lora策略用多少个低秩矩阵代替原来的密集链接

编者按：随着数据量和计算能力的增加，大模型的参数量也在不断增加，同时进行大模型微调的成本也变得越来越高。全参数微调需要大量的计算资源和时间，且在进行切换下游任务时代价高昂。

本文作者介绍了一种新方法 LoRA，可以在保持模型性能的同时大幅减少微调的参数量和所需资源。

LoRA通过引入两个低秩适配矩阵，用矩阵乘法的方法替换大部分参数。实验证明，LoRA 在多项 NLP 任务上的表现与许多微调方法（如Adapter 和 PreLayer 等）相当或更好。与全参数微调相比，LoRA降低了可训练参数数量 10,000 倍，GPU 内存需求减少 3 倍，存储需求减少 10,000 倍，训练速度提高 25 %。

LoRA 为大语言模型的高效多任务微调提供了一种有效途径。作者认为 LoRA 可以推广到更多模型结构，有望加深我们对模型微调机制的理解。

作者 | Arxiv Dives

编译 | 岳扬