大型语言模型 (LoRA) 的低秩适应 Low Rank Adapdation_大语言模型合并lora权重

作者：从前慢现在也慢 | 2024-03-06 16:52:56

踩

大语言模型合并lora权重

目前，LoRA 仅支持UNet2DConditionalModel. 我们还支持对 DreamBooth 文本编码器的 LoRA 微调，能力有限。有关我们如何支持文本编码器的 LoRA 微调的更多详细信息，请参阅此 PR上的讨论。

Low-Rank Adaptation of Large Language Models (LoRA)是一种训练方法，可以加速大型模型的训练，同时消耗更少的内存。它将成对的秩分解权重矩阵（称为更新矩阵）添加到现有权重中，并且只训练那些新添加的权重。这有两个优点：

以前预训练的权重保持冻结状态，因此模型不会出现灾难性遗忘。
秩分解矩阵的参数明显少于原始模型，这意味着经过训练的 LoRA 权重很容易移植。
LoRA 矩阵一般被添加到原始模型的注意力层中。
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/200272