LLMs之PEFT：大模型核心技术—PEFT(参数高效微调)的简介(指令微调/RLHF微调)、微调两大范式+三类五法—(Adapter/Prefix/P-tuning/HINT，Delta-tunin_nf4 大模型

LLMs之PEFT：大模型核心技术—PEFT(参数高效微调)的简介(指令微调/RLHF微调)、微调两大范式+三类五法—(Adapter/Prefix/P-tuning/HINT，Delta-tuning，LoRA/QLoRA/LOMO)之详细攻略

LLMs之PEFT：大模型核心技术—PEFT(参数高效微调)的简介(指令微调/RLHF微调)、微调两大范式+三类五法—基于添加式(引入额外可训练参数或模块，如Adapter/Prefix/P-tuning/HINT)、基于规范化(冻结某些固有模型参数同时指定要调整的参数，如Delta-tuning)、基于重参数化(假设模型自适应的低秩性→权重可重新参数化为低维子空间，如LoRA/QLoRA/LOMO)之详细攻略

目录

相关文章

PTMs之PEFT：参数高效微调PEFT方法的简介(只微调少量参数)、Transformer体系结构的核心构建块(大多PEFT方法只依赖基本的MHA+FFN结构)、分类与比较(加性方法【Adapter-like/soft prompts【Prompt Tuning、Prefix-Tuning、IPT】/IA3】/选择方法【Bitfit/Diffpruning/FAR/Fishmask】/基于重参数化方法【I-SAID→LORA→KronA】/混合方法【SparseAdapter/MAM Adapters/UniPELT/Compacter/S4】)、案例实践与总结(有限计算资源下使用和微调/降低超参数敏感性的方法/低秩重参数化)

Paper：《Instruction Tuning for Large Language Models: A Survey—大型语言模型的指令调优的综述》翻译与解读——Efficient Tuning Techniques高效微调技术——高效微调三种方法论：基于添加式(引入额外可训练参数或模块，如HINT)、基于规范化(冻结某些固有模型参数同时指定要调整的参数，如Delta-tuning)、基于重参数化(假设模型自适应的低秩性→权重可重新参数化为低维子空间，如LoRA/QLoRA/LOMO)

LLMs：大模型微调技巧的简介、四类微调方法(Prefix Tuning【隐式提示+Prefix层前需加MLP结构】、Prompt Tuning【显式提示】，P-tuning【只微调 transformer第一层的embedding输入】、P-tuning v2【微调每一层 transformer的embedding输入+引入多层连续提示+重新参数化+提示长度+多任务学习+[CLS]和标注分类】，Adapter Tuning【低维嵌入+只微调Adapter的参数】，LoRA【低秩近似+降低要更新参数量】、QLoRA【LoRA的量化版+NF4+双量化DQ+分页优化器PO】)之详细攻略

一、模型广义微调方法对比

1、宏观对比—提高模型性能

(1)、四个术语简介：微调(基于Pretraining预训练模型，继续优化到特定任务)、RLHF(在Pretraining+SFT之后，继续强化学习+与专家交互，包括RF阶段+RL阶段)、提示工程(引导生成，简单提示)、Instruction-Following(引导生成，遵循复杂指令)

(2)、对比：训练技术(Finetuning/RLHF)、引导技术(Prompting/Instruction-Following)

(3)、对比：全参数微调(全新训练)、指令微调(增量训练+执行任务指令)、高效参数微调(增量训练+常结合提示工程)、提示工程(通用策略+只是引导)

PTMs：大模型领域之SOTA(最先进模型)的相关术语知识总结(微调/RLHF/提示/指令集)、每个LLM开发者都应知道的数字、SOTA算法(NLP领域+CV领域)核心技术重点梳理之详细攻略

二、参数高效微调的简介

1、参数高效微调(PEFT)技术的概述：PEFT技术带来平民化

2、参数高效微调三类五法(Adapter Tuning、Prefix Tuning、Prompt Tuning、P-tuning、LoRA)

0、系统性总结：

0.0、LLMs：《A Survey of Large Language Models大语言模型综述》的翻译与解读(三)之适应LLMs(指令调优+对齐微调+参数高效微调+内存高效的模型自适应)

0.1、微调对比：Prompt Tuning【在输入层+显式引导+无更新参数】、Prefix Tuning【在embeding层+隐式提示+只更新构造的Prefix参数+加入MLP结构】、P-Tuning【在embeding层+可学习的embeding+采用MLP(LSTM)】、P-Tuning v2 【在深层+多层提示标记】、Adapter Tuning【在模型结构层+引入Adapter结构】、LoRA【在模型结构层+引入低秩矩阵模块】

0.2、PEFT各种方法对比：全量参数fine-tuning(更依赖后验)、P-tuning v2(依赖先验+改变参数分布) 、LoRA(降低参数量)、QLoRA(全线性层适配器+四位标准浮点数NF4+双量化DQ+分页优化器PO)

T1、基于添加式(引入额外可训练参数或模块)

T1.1、Adapter Tuning【低维嵌入+只微调Adapter的参数】

T1.2、Prefix Tuning【隐式提示+Prefix层前需加MLP结构】

Prefix-Tuning: Optimizing Continuous Prompts for Generation (Li & Liang, ACL-IJCNLP 2021)

(1)、Prefix Tuning：如何在Prefix层前面加MLP结构？

T1.3、P-tuning【只微调 transformer第一层的embedding输入】、P-tuning v2【微调每一层 transformer的embedding输入+引入多层连续提示+重新参数化+提示长度+多任务学习+[CLS]和标注分类】

LLMs之P-Tuning v2：《P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks》翻译与解读

T1.4、HINT微调=添加易于微调的模块(基于超网络数生成器生成适配器和前缀参数)+插入到骨干模型作为高效的微调模块

T2、基于规范化(冻结某些固有模型参数同时指定要调整的参数)

T2.1、Delta-tuning=优化和最优控制视角+将微调限制在低维流形上来执行子空间优化+微调参数充当最优控制器+在下游任务中引导模型行为

T3、基于重参数化(假设模型自适应的低秩性→权重可重新参数化为低维子空间)

T3.1、LoRA【低秩近似+降低要更新参数量】

各个大模型的LoRA参数详细配置

T3.2、QLoRA【LoRA的量化版+NF4+双量化DQ+分页优化器PO】

PTMs：QLoRA技巧的简介、使用方法、论文解读、源码解读之详细攻略

LLMs之Guanaco：《QLoRA：Efficient Finetuning of Quantized LLMs》翻译与解读

LLMs：基于Chinese-LLaMA-Alpaca开源代码在Ng单卡利用LLaMA(Meta)和Alpaca(斯坦福)实现定义数据集(生成指令数据)→数据预处理(token分词/合并权重)→预训练(LoRA的参数/LLaMA的参数)→指令微调LoRA权重(继续训练/全新训练)→模型推理(CLI、GUI【webui/LLaMACha/LangChain】)

LLMs之Alpaca_LoRA：Alpaca_LoRA简介(痛点/改进)、实战案例—基于CentOS和多卡(A800+并行技术)实现全流程完整复现Alpaca_7B—安装依赖、转换为HF模型文件、模型微调(full fine-turning+LoRA+单卡/多卡)、模型推理(CLI/llama.cpp/Docker封装)图文教程之详细攻略

LLMs：从头到尾手把手教大家利用ChatGLM-6B模型实现训练、部署、推理(CLI/Gradio交互界面)、微调(两个提效技巧【混合精度+ZeRO零冗余提效】+三种微调方法【fine-tuning/P-tuning v2改变参数分布/LoRA低秩近似降低要更新参数量】)图文教程之详细攻略

LLMs之LLaMA-7B-QLoRA：基于Alpaca-Lora代码在CentOS和多卡(A800+并行技术)实现全流程完整复现LLaMA-7B—安装依赖、转换为HF模型文件、模型微调(QLoRA+单卡/多卡)、模型推理(对比终端命令/llama.cpp/Docker封装)图文教程之详细攻略

T3.3、LOMO=降低梯度内存需求(融合梯度计算与参数更新+实时只存储单个参数的梯度)+稳定训练(梯度值裁剪+分离梯度范数计算+态损失缩放)+节省内存(激活检查点+ZeRO优化)

三、微调方法案例实战

1、peft库

Py之peft：peft(一款最先进的参数高效微调方法库)的简介、安装、使用方法之详细攻略

---

相关文章