使用 LoRA 进行高效稳定的扩散微调_如何对稳定扩散模型进行微调

作者：羊村懒王 | 2024-04-01 15:43:18

踩

如何对稳定扩散模型进行微调

LoRA: Low-Rank Adaptation of Large Language Models是微软研究人员为处理微调大型语言模型的问题而引入的一项新技术。具有数十亿参数的强大模型（例如 GPT-3）为了使其适应特定任务或领域而进行微调的成本高得令人望而却步。LoRA 提出冻结预训练模型权重并注入可训练层（秩分解矩阵）在每个Transformer块中。这大大减少了可训练参数的数量和 GPU 内存要求，因为不需要为大多数模型权重计算梯度。研究人员发现，通过关注大型语言模型的 Transformer 注意力块，使用 LoRA 进行的微调质量与完整模型微调相当，同时速度更快且需要更少的计算。