大模型调优技术：Parameter-efficient transfer learning

1. 任务特定的适配器（Task-Specific Adapters）

基本概念：

适配器是一种轻量级模块，插入到预训练模型的各层之间。
适配器模块通常包括一个降维层、非线性激活函数和一个升维层。

工作原理：

插入适配器模块：在预训练模型的每一层之间插入适配器模块。
冻结原模型参数：在微调过程中，预训练模型的参数保持不变。
更新适配器参数：只更新适配器模块的参数，使模型能够适应特定的下游任务。

优点：

适配器模块通常很小，增加的参数量较少。
适配器模块可以灵活地插入到不同层次，适应不同的任务需求。

举例：

在一个预训练的 BERT 模型中，每个 Transformer 层之间插入适配器模块。在微调过程中，只更新这些适配器模块的参数，而 BERT 模型的参数保持不变。

2. 权重近似学习（Learning Weight Approximation）

基本概念：

• 权重近似学习通过更新低秩矩阵来近似模型的权重。
• 这种方法通常使用低秩分解技术，如矩阵分解，将原始权重矩阵分解为两个低秩矩阵的乘积。

工作原理：

• 低秩分解：将预训练模型的权重矩阵分解为两个低秩矩阵的乘积。
• 冻结原模型参数：在微调过程中，预训练模型的参数保持不变。
• 更新低秩矩阵参数：只更新低秩矩阵的参数，使模型能够适应特定的下游任务。

优点：

• 低秩矩阵的参数量较少，计算效率高。
• 通过低秩分解，可以有效地近似原始权重矩阵，保持模型性能。

举例：

在一个预训练的 Transformer 模型中，将每个权重矩阵分解为两个低秩矩阵。在微调过程中，只更新这些低秩矩阵的参数，而原始权重矩阵保持不变。

具体实现和位置：

• 低秩分解：
  假设我们有一个预训练模型的权重矩阵 ( W )。
  我们将 ( W ) 分解为两个低秩矩阵 ( A ) 和 ( B )，使得 ( W \approx A \times B )。
  这里，( A ) 和 ( B ) 的维度要比 ( W ) 小得多，从而减少了参数量。
• 在模型中的位置：
  低秩矩阵 ( A ) 和 ( B ) 直接替代原始的权重矩阵 ( W )。
  具体来说，如果 ( W ) 是一个用于线性变换的权重矩阵（例如在全连接层或注意力机制中的权重矩阵），我们将其替换为 ( A ) 和 ( B ) 的乘积。
• 模型更新：
  在微调过程中，我们只更新 ( A ) 和 ( B ) 的参数，而不更新原始的权重矩阵 ( W )。这样，我们通过更新较少的参数实现了模型的适应性。

3. 提示微调（Prompt Tuning）

基本概念：

提示微调（Prompt Tuning）通过在输入点或中间层前置一组可学习的提示 tokens，并在微调过程中只优化这些 tokens 的参数，从而实现参数高效的微调方法。这种方法不仅减少了需要更新的参数数量，还保持了预训练模型的完整性和性能。

举例说明：

假设我们有一个预训练的 GPT-3 模型，我们希望使用提示微调方法来进行情感分析任务。

步骤：

1. 定义提示 tokens：
   定义一组提示 tokens，例如 [PROMPT1, PROMPT2, PROMPT3]，这些 tokens 是可学习的。
2. 构建输入：
   对于每个输入文本，例如 “This movie is fantastic”，我们在前面添加提示 tokens，构建新的输入 [PROMPT1, PROMPT2, PROMPT3, This, movie, is, fantastic]。
3. 微调提示 tokens：
   在训练过程中，我们只优化 [PROMPT1, PROMPT2, PROMPT3] 的参数，而 GPT-3 模型的参数保持不变。
4. 任务适应：
   通过优化提示 tokens，使得模型能够更好地理解和分类输入文本的情感。例如，经过微调后，模型可以更准确地预测 “This movie is fantastic” 是正面情感。