每日论文速递 | AFLoRA: 自适应冻结权重进行PEFT

深度学习自然语言处理 分享
整理：pp

摘要：我们提出了一种新颖的参数高效微调（PEFT）方法，被称为自适应冻结低阶自适应Adaptive Freezing of Low Rank Adaptation (AFLoRA)。具体来说，对于每个预训练的冻结权重张量，我们都会添加一条可训练低秩矩阵的并行路径，即下投影矩阵和上投影矩阵，每个矩阵后都有一个特征变换向量。基于新颖的冻结评分，我们在微调过程中逐步冻结这些投影矩阵，以减少计算量并缓解过度拟合。我们的实验结果表明，根据 GLUE 基准的评估，我们可以实现最先进的性能，平均改进幅度高达 0.85 美元，而平均可训练参数则减少了 9.5 美元。在运行时间方面，与类似的 PEFT 替代方法相比，AFLoRA 最多可提高 1.86。除了我们方法的实用性之外，我们还就不同模块的 LoRA 路径的可训练性要求以及不同投影矩阵的冻结时间表提供了深入见解。代码将发布。

https://arxiv.org/abs/2403.13269

Q1: 这篇论文试图解决什么问题？

A：这篇论文提出了一种名为AFLoRA（Adaptive Freezing of Low Rank Adaptation）的参数高效微调（PEFT）方法，旨在解决大型预训练语言模型（如BERT、GPT-3和LLaMA2）在下游任务中的零样本（zero-shot）性能通常低于预期的问题。全微调（full fine-tuning，FFT）模型虽然可以改善性能，但由于模型参数众多，这一过程计算成本过高。AFLoRA通过在微调过程中自适应地冻结低秩矩阵，以减少可训练参数的数量和计算成本，同时通过引入新的冻结评分机制来避免过拟合，从而在保持或提高模型性能的同时，提高了微调过程的效率。具体来说，AFLoRA解决的问题包括：

1. 大型预训练模型在特定下游任务上的微调需要大量的计算资源。

2. 传统的微调方法需要调整预训练模型的所有权重，这不仅计算成本高，而且可能导致过拟合。

3. 现有的低秩适应方法（如LoRA和ELoRA）虽然通过添加可训练的低秩矩阵来减少参数数量，但在保持高准确率的同时，计算效率仍有提升空间。

AFLoRA通过在微调过程中自适应地冻结低秩矩阵，以减少可训练参数的数量和计算成本，同时通过引入新的冻结评分机制来避免过拟合，从而在保持或提高模型性能的同时，提高了微调过程的效率。

Q2: 有哪些相关研究？

A：这篇论文提到了以下相关的研究工作，这些工作都集中在参数高效微调（PEFT）方法上，旨在通过引入少量参数来微调预训练模型，以在下游任务上获得良好的性能：

1. LoRA (Low Rank Adaptation): LoRA及其变体通过在模型中添加可训练的低秩路径，包括下投影（down-projection）和上投影（up-projection）矩阵，来微调预训练模型。这种方法的灵感来自于Aghajanyan等人的工作，他们展示了低秩路径可以有效地近似训练后的权重张量。

2. Adapter Tuning: 通过在预训练模型的每一层中插入小型神经网络层（称为适配器），来进行微调。

3. Prompt Tuning: Lester等人提出了一种通过添加可训练的前缀标记到模型输入或隐藏层的方法来进行微调。

4. AdaLoRA: 这是LoRA的一个变体，它允许自适应地选择LoRA路径的秩。

5. SoRA (Sparse Low-Rank Adaptation) 和 LoSparse: 这两个变体研究了在低秩路径中引入稀疏性对性能的影响。

6. ELoRA (Efficient Low-Rank Adaptation): 这是LoRA的扩展，通过在每个投影矩阵的输出上添加可训练的特征转换向量，展示了在随机初始化后冻结投影矩阵的同时保持两个特征转换向量可训练的方法。

除了上述方法，论文还提到了其他一些相关工作，包括：

• Prefix-Tuning: Li和Liang提出的方法，通过在模型的输入或隐藏层添加可训练的前缀标记来进行微调。

• Efficient Low-Rank Adaptation (ELoRA): 由Kopiczko等人提出，旨在保持LoRA路径冻结，同时引入两个可训练的特征转换向量。

这些相关工作构成了AFLoRA提出之前的PEFT方法的研究背景，并为AFLoRA的设计提供了灵感和对比基准。

Q3: 论文如何解决这个问题？

A：论文提出了一种名为AFLoRA（Adaptive Freezing of Low Rank Adaptation）的方法来解决大型预训练模型在下游任务中的高效微调问题。AFLoRA的核心思想是在每个预训练的冻结权重张量旁添加一个可训练的低秩矩阵路径，然后在这个路径上应用自适应冻结策略。以下是AFLoRA解决这个问题的具体步骤：

1. 低秩路径的初始化：对于每个预训练的冻结权重张量，AFLoRA添加了一个并行的可训练低秩路径，包括下投影矩阵（down-projection matrix）和上投影矩阵（up-projection matrix），每个矩阵后面跟着一个特征转换向量（feature transformation vector）。

2. 自适应冻结：AFLoRA引入了一种新颖的冻结评分（freezing score）机制，用于评估微调过程中权重的变化程度。当权重的变化变得可以忽略时，这些权重对应的投影矩阵会被冻结，从而节省计算资源并减少过拟合的风险。

3. 冻结策略：AFLoRA使用一个基于迭代次数的阈值化策略来决定何时冻结投影矩阵。在训练的初始阶段，所有的投影矩阵都是可训练的。随着训练的进行，根据冻结评分，逐渐冻结投影矩阵。

4. 实验验证：论文通过在GLUE基准测试上的实验，展示了AFLoRA在减少可训练参数数量、提高计算效率以及保持或提升模型性能方面的优势。

5. 性能对比：与现有的PEFT方法相比，AFLoRA在保持或提高模型性能的同时，显著减少了可训练参数的数量，并在运行时间和浮点运算（FLOPs）上实现了显著的改进。

通过这种方法，AFLoRA能够在保持预训练模型性能的同时，显著降低微调过程中的计算成本和参数数量，从而实现了参数高效的微调。

Q4: 论文做了哪些实验？

A：论文中进行了一系列实验来评估和验证AFLoRA方法的有效性，具体包括：

1. 模型和数据集：使用了DeBERTaV3-base模型在GLUE基准测试集上进行微调。GLUE是一个多任务的自然语言理解评估平台，包含了多个不同的NLP任务。

2. 性能比较：将AFLoRA与其他几种参数高效微调（PEFT）方法进行比较，包括LoRA及其变体，如ELoRA、AdaLoRA、SoRA等。比较的指标包括不同任务上的准确率提升以及与全微调（FFT）的性能差异。

3. 运行时间和FLOPs比较：对比了AFLoRA与其他PEFT方法在训练时间和浮点运算（FLOPs）上的差异。这些指标反映了模型的计算效率。

4. 消融研究：进行了消融研究来分析AFLoRA中不同组件的影响，包括：

• 投影矩阵（PM）的训练与冻结对性能的影响。

• 在不同类型的层（如前馈神经网络层和注意力层）中保持PM可训练的必要性。

• 使用不同敏感度评分方法对冻结趋势的影响。

冻结趋势的讨论：通过RTE数据集作为案例研究，分析了不同层的投影矩阵在微调过程中的冻结迭代次数，以了解哪些层需要更长时间的训练才能冻结。

超参数配置：提供了用于GLUE基准测试集中八个数据集的主要超参数设置，包括训练周期、批量大小、最大序列长度、分类器学习率和学习率等。

通过这些实验，论文展示了AFLoRA在减少可训练参数数量、提高计算效率以及保持或提升模型性能方面的有效性。实验结果表明，AFLoRA在多数数据集上达到了最先进的性能，并且在参数数量和计算资源上优于或可与现有的PEFT方法相比。

Q5: 有什么可以进一步探索的点？

A：论文在最后一部分提出了AFLoRA方法的局限性，并指出了一些可能的研究方向，可以进一步探索的点包括：

1. 冻结评分的改进：论文中提到，使用不同的冻结评分方法在某些数据集上可能会比当前的AFLoRA方法表现更好。因此，研究和开发更精确的冻结评分机制可以进一步提高AFLoRA的性能和效率。

2. 自适应秩评估框架的集成：将AFLoRA与自适应秩评估框架集成，可能会开启参数高效微调（PEFT）的新方向。这可能涉及到动态调整低秩路径的秩，以更好地适应不同的任务和数据集。

3. 不同模型架构的适用性：虽然AFLoRA是在DeBERTaV3模型上进行测试的，但可以探索该方法在其他类型的预训练模型（如GPT-3、BERT等）上的效果和适用性。

4. 大规模数据集和复杂任务的测试：在更大的数据集和更复杂的NLP任务上测试AFLoRA，以验证其在不同规模和难度的任务上的泛化能力和效率。

5. 计算资源和能耗分析：进行更深入的计算资源和能耗分析，以全面评估AFLoRA在实际部署中的效益。

6. 长期影响和适应性：研究AFLoRA在长期微调过程中的适应性，包括对连续学习任务的影响，以及模型对新数据的适应能力。

7. 理论分析：对AFLoRA的冻结机制和训练过程进行理论分析，以更好地理解其背后的原理和潜在的改进空间。

8. 实际应用场景的评估：在实际应用场景中评估AFLoRA的效果，包括在资源受限的环境中部署大型预训练模型的情况。

通过探索这些方向，研究人员可以进一步提升参数高效微调方法的性能，降低大型预训练模型微调的计算成本，并推动NLP领域的进步。

Q6: 总结一下论文的主要内容？

A：这篇论文的主要内容可以总结如下：

1. 问题陈述：论文针对大型预训练语言模型在下游任务中的零样本性能不足以及全微调计算成本高昂的问题，提出了一种新的解决方案。

2. 相关工作：介绍了现有的参数高效微调（PEFT）方法，包括LoRA、Adapter Tuning、Prompt Tuning等，并指出了它们的局限性。

3. 方法提出：提出了AFLoRA方法，它通过在预训练权重旁添加可训练的低秩矩阵路径，并根据冻结评分自适应地冻结这些矩阵，以减少计算量和防止过拟合。

4. 实验验证：在GLUE基准测试集上使用DeBERTaV3模型进行实验，与现有PEFT方法进行比较，展示了AFLoRA在减少参数数量、提高计算效率和保持或提升模型性能方面的优势。

5. 消融研究：通过消融研究分析了AFLoRA中不同组件的影响，包括投影矩阵的冻结策略和不同层类型的必要性。

6. 结果分析：讨论了冻结评分的不同计算方法和冻结趋势，提供了对AFLoRA方法更深入的理解。

7. 局限性与未来工作：论文指出了AFLoRA的局限性，并提出了未来可能的研究方向，如冻结评分的改进、自适应秩评估框架的集成等。

总体而言，这篇论文提出了一种新颖的参数高效微调方法，通过自适应冻结低秩适应路径来提高微调的效率和性能，同时减少计算资源的消耗。论文通过一系列实验验证了方法的有效性，并为未来的研究提供了方向。

以上内容均由KimiChat生成，深入了解论文内容仍需精读论文

---

备注：昵称-学校/公司-方向/会议(eg.ACL)，进入技术/投稿群

id：DLNLPer，记得备注呦