从新的角度看待大模型微调_大模型微调效果变差

一、前言

一切要从最近大火的Lora(《LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS》）说起，该文章在ICLR2022中提出。说的是利用低秩适配(low-rank adaptation)的方法，可以在使用大模型适配下游任务时只需要训练少量的参数即可达到一个很好的效果。

LoRA是怎么去微调适配下游任务的？流程很简单，LoRA利用对应下游任务的数据，只通过训练新加部分参数来适配下游任务。而当训练好新的参数后，利用重参的方式，将新参数和老的模型参数合并，这样既能在新任务上到达fine-tune整个模型的效果，又不会在推断的时候增加推断的耗时。

LoRA的示意图如下：

图中蓝色部分为预训练好的模型参数，LoRA在预训练好的模型结构旁边加入了A和B两个结构，这两个结构的参数分别初始化为高斯分布和0，那么在训练刚开始时附加的参数就是0。A的输入维度和B的输出维度分别与原始模型的输入输出维度相同，而A的输出维度和B的输入维度是一个远小于原始模型输入输出维度的值，这也就是low-rank的体现（有点类似Resnet的结构），这样做就可以极大的减少待训练的参数了。在训练时只更新A，B的参数，预训练好的模型参数是固定不变的。在推断时可以利用重参数(reparametrization)思想，将AB与W合并，这样就不会在推断时引入额外的计算了。而且对于不同的下游任务只需要在预训练模型基础上重新训练AB就可以了，这样也能加快大模型的训练节奏。

由于本文不具体介绍LoRA，所以详细信息可以查看LoRA原文。我们只需要知道LoRA文章后续的实验已经论证该方法的有效性。那么进一步思考，为什么LoRA的这种思路能work的不错呢？

答案就是接下来要讲的Intrinsic dimension了。这点LoRA原文也提到过，该文章灵感来源于下面两篇文章：

1. MEASURING THE INTRINSIC DIMENSION OF OBJECTIVE LANDSCAPES, 发表在ICLR2018，为了方便接下来该论文称为【论文1】
2. INTRINSIC DIMENSIONALITY EXPLAINS THE EFFECTIVENESS OF LANGUAGE MODEL FINE-TUNING, 发表在ACL2021，为了方便接下来该论文称为【论文2】

二、本征维度（Intrinsic dimension）定义

本征维度的概念在由【论文1】提出。

训练一个神经网络往往包含如下几步：

1. 对于一个给定的数据集，先设计网络的结构和选择对应的loss
2. 对网络中的参数进行随机的初始化
3. 训练网络使得loss越来越低

而训练阶段可以认为是在一个固定的目标图（objective landscape）上，寻找出有效的路径。

这里解释一下为什么是固定的目标图。因为在数据集和网络结构固定下来后，待优化的问题就已经定义好了，所以目标图也就是确定的了。

如下图所示：

那么对于一个参数量为D的模型${\theta }^{(D)}\in R^D$，我们训练该模型，也就意味着在D维空间上寻找有效的解。文章认为D可能是冗余的，可能实际上只需要优化其中的d个参数就可以找到一个有效的解。

用公式表示如下：

${\theta }^{(D)}={\theta }_0^{(D)}+P{\theta }^{(d)}$

其中${\theta }^{(D)}$表示D维的优化参数，${\theta }_0^{(D)}$表示随机初始化的一个参数并且在训练时是不进行更新的, P是一个随机初始化的$D\times d$大小的矩阵且训练时也不进行更新，${\theta }^{(d)}$表示待优化的d维参数。

也就是说可以在训练网络时只更新d维参数，就可以达到该网络应有的效果。那么这个d就是所谓的该模型的本征维度。

这里讲完可能还有点晕，我们看一下如下这张图：

上图中，蓝色部分为初始化好的网络参数${\theta }_0^{(D)}$，绿色为$P{\theta }^{(d)}$, 红色为${\theta }^{(d)}$。网络训练的时候只训练红色部分，其它参数都是固定的。d就是本征维度。

上面讲的只更新d维参数，让网络达到应有的效果，那么什么“应有的效果”呢？文章定义，在只更新d维参数的情况下，网络效果达到训练原始模型时效果的90%时，那么久认为达到了“应有的效果”，并且的d就为本征维度。

例如在做mnist这个数字分类任务时，如果原始模型精度能到0.9，那么在只更新d维参数的时候，精度能够达到90% x 0.9 = 0.81，就认为这时候的d为本征维度记为$d_{int90}$。

三、使用本征维度思考大模型微调的有效性

【论文2】将之前提出的本征维度用来思考大模型微调的有效性，为什么现在用几百或者几千张图片就可以对大模型进行有效的微调？

根据【论文1】阐述，对于某一类问题，在一定精度上（比如达到90%的精度）有本征特征的存在。对于大模型而言，进行本征维度的测试就能知道在解决某一类下游问题时，需要调整多少参数就能近似的解决当前的问题。如果真的有实验能证明仅仅调整少数的参数就能很好的解决下游问题，那么也就能回答上述问题，即对大模型做少量的微调（调整少量的参数），就能解决当前的问题。

下面无特殊说明的话，“文章”指的都是【论文2】

3.1 实验一：对于大模型而言，是否存在本征维度

同【论文1】，【论文2】中也利用公式${\theta }^{(D)}={\theta }_0^{(D)}+P{\theta }^{(d)}$来进行模型的训练，即训练时只调整d维参数${\theta }^{(d)}$ 。但与【论文1】中的实验有点不同的是，【论文1】中${\theta }_0^{(D)}$是随机初始化的，而【论文2】中${\theta }_0^{(D)}$是预训练好的参数。

【论文2】首先选择BERT-Base\BERT-Large\RoBERTa-Base\RoBERTa-Large四个模型，并选择GLUE benchmark中的 MRPC和QQP两个数据集（两个数据集都是用来测试句子对是否相同意义的任务）。

实验结果如下图所示：

上下两个子图分别表示MRPC和QQP两个任务，每个子图有四条实线表示四个模型的准确率，四条虚线表示达到fine-tune整个模型90%的准确率的值，横坐标表示训练d维的大小。从图中可以看出两个任务，四个不同的模型，只需要训练较小的d维参数就可以达到90%的精度。本征维度这个概念在大模型中是成立的。

所以在训练某个下游任务时，只需要训练少量参数就能达到不错的效果了。这时文章开头的问题就已经解决了。但是作者做了一些其他的实验，发现了一些有意思的结论。

3.2 预训练的好坏与本征维度的关系

文章提出这样一个假设，预训练模型能够隐式的降低模型在NLP各个任务的本征维度。

基于这个猜想，文章做了下面实验，在预训练RoBERTa-base模型的时候，每隔10K保存下对应的预训练模型，然后测试保存下来的预训练模型在MRPC, QQP, Yelp Polarity,SST-2, MNLI,ANLI六个数据集本征维度。

结果如下：

可以看出，在不同数据集上，有相同的趋势，就是预训练次数越多，模型在各个任务上的本征维度越低。实验并没有特意去优化所谓的本征维度，只是预训练久一点而已。所以印证了预训练模型的表征能力越强（训练的越好）本征维度越小。

3.3 预训练模型参数与本征维度的关系

本来在做预训练参数与本征维度关系的时候，需要统一模型的结构，这样更有说服力。但是作者说，这样要训练很多大模型的实验，为了更方便的对比文章根据已有的结构来做实验。从实验结果的趋势来看，不同结构也能得到有效的结论。

文章利用已有的预训练模型，在MRPC数据集上计算本征维度。

实验结果如下：

上图中纵坐标表示本征维度的值，很坐标表示模型的参数量。从图中的趋势可以明显看出，模型越大本征维度越小，即越强的模型本征维度越低。

3.4 本征维度与泛化能力的关系

上面介绍了fine-tune(3.1)、预训练（3.2）和本征维度的关系，但本征维度与泛化能力的关系还没有验证。即我们现在知道了让本征维度小的方式，但是本征维度小了，泛化能力就能上去吗？

文章又做了下面的实验，把3.2保存下来的模型，在对应的$d_{int90}$的本征维度上，进行不同数据集的测试，结果如下：

可以看出本征维度低的模型，训练出来的模型准确率是更高的。也就是说本征维度越低，泛化性能越好。

回到引言的问题：为什么LoRA思路能work？

因为大模型存在本征维度的概念，只需要调整少量参数就能在下游任务上得到很好的效果。

参考文献：

1. https://en.wikipedia.org/wiki/Gradient_descent
2. https://arxiv.org/pdf/1804.08838.pdf
3. https://arxiv.org/pdf/2012.13255.pdf
4. https://arxiv.org/pdf/2106.09685.pdf)