Lora 微调wiki_lora add_mixin

Lora 微调wiki

背景

大公司或者研究机构，都是有足够资源的来开发大模型，但是对于一般的小公司或者个人来说，要想开发自己的大模型几乎不可能，要知道像 ChatGPT 这样的大模型，一次训练的成本就在上千亿美元。

目前主流的方法包括2019年 Houlsby N 等人提出的 Adapter Tuning，2021年微软提出的 LORA，斯坦福提出的 Prefix-Tuning，谷歌提出的 Prompt Tuning，2022年清华提出的 P-tuning v2

这些方法都有各自的特点，从个人使用情况来说，LORA 的效果会好于其它几种方法。其它方法都有各自的一些问题：

• Adapter Tuning 增加了模型层数，引入了额外的推理延迟

• Prefix-Tuning 难于训练，且预留给 Prompt 的序列挤占了下游任务的输入序列空间，影响模型性能

• P-tuning v2 很容易导致旧知识遗忘，微调之后的模型，在之前的问题上表现明显变差

Lora介绍

原理

核心：模型是过参数化的，它们有更小的内在维度，模型主要去依赖这个低的内在维度去做任务适配。

通俗理解：你从小到大经历了很多很多的事情，比如目前正在经历繁琐又复杂的成年人