什么是参数高效微调（PEFT）和完全微调？两者的异同点是什么？常见的PEFT策略总结。_全量微调与高效微调的区别

参数高效微调（Parameter-Efficient Fine-Tuning，简称PEFT）和完全微调（Full Fine-Tuning）是两种用于调整预训练模型以适应特定任务的方法。以下是对两者的介绍以及它们的异同点总结：

参数高效微调（PEFT）：

• PEFT的目标是在保留预训练模型大部分参数不变的情况下，只对模型的一小部分参数进行微调。
• 这种方法通过添加少量可训练的参数（如适配器或小型网络模块）来适应新任务，而不是重新训练整个模型。
• PEFT的优点在于它可以减少计算资源的消耗，加快训练速度，并有助于避免灾难性遗忘（catastrophic forgetting），即新任务的学习不会抹去模型在预训练阶段学到的知识。
• 它特别适用于数据量较小的任务，因为它不需要大量的数据来更新大量的参数。

完全微调（Full Fine-Tuning）：

• 完全微调涉及对预训练模型的所有参数进行调整，以适应新的任务或数据集。
• 这种方法通常需要更多的计算资源和数据，因为模型的每个参数都可能需要根据新任务进行优化。
• 完全微调的优点是它可以更好地适应新任务，特别是当新任务与预训练任务差异较大时。
• 然而，这种方法可能会导致过拟合，尤其是在数据量有限的情况下。

异同点总结：

• 相同点：两者都是为了使预训练模型更好地适应特定的任务或数据集，都涉及到在预训练的基础上进行进一步的训练。
• 不同点：
  • 参数更新范围：PEFT只更新模型中的一小部分参数，而完全微调则更新模型的所有参数。
  • 资源消耗：PEFT通常更节省计算资源，因为它不需要对整个模型进行训练。
  • 数据需求：PEFT更适合数据量较小的任务，而完全微调可能需要更多的数据来避免过拟合。
  • 适应性：完全微调可能在新任务与预训练任务差异较大时表现更好，但也可能更容易过拟合。 

参数高效微调（PEFT）的策略主要包括以下几种：

1. 适配器（Adapters）：

   • 适配器是一种常见的PEFT策略，它在预训练模型的层之间插入小型的神经网络模块。
   • 这些模块通常只包含几个卷积层或全连接层，并且只有这些层的参数会被更新。
   • 适配器模块可以学习到新任务的特征表示，而原始预训练模型的参数保持不变。

2. 特征提取器微调（Feature Extractor Fine-Tuning）：

   • 在这种策略中，预训练模型的大部分层被冻结，只有最后的一两层（通常是全连接层或分类层）被微调。
   • 这种方法适用于当新任务与预训练任务相似度较高时，可以通过微调少量参数来适应新任务。

3. 多任务微调（Multi-Task Fine-Tuning）：

   • 在多任务微调中，模型被训练来同时处理多个相关任务。
   • 这种方法可以提高模型的泛化能力，并减少对大量标注数据的需求。

4. 知识蒸馏（Knowledge Distillation）：

   • 知识蒸馏是一种通过让小型模型（学生）模仿大型预训练模型（教师）的行为来进行微调的策略。
   • 学生模型通过学习教师模型的输出或中间表示来进行训练，而不是直接从数据中学习。

5. 参数剪枝（Parameter Pruning）：

   • 参数剪枝涉及移除预训练模型中的一些参数，然后在剩余的参数上进行微调。
   • 这种方法可以减少模型的大小和计算需求，同时保持或提高模型的性能。

6. 低秩逼近（Low-Rank Approximation）：

   • 低秩逼近通过用低秩矩阵逼近原始模型中的参数来减少参数数量。
   • 这种方法可以在保持模型性能的同时显著减少模型的参数规模。

7. 微调特定层（Layer-Specific Fine-Tuning）：

   • 在这种策略中，只有模型的特定层或模块会被微调，而其他层保持冻结。
   • 这通常是基于对模型结构和新任务需求的深入理解来选择哪些层进行微调。