当前位置:   article > 正文

Full-Parameter全参数微调与LoRA低秩微调_sft阶段用全参数和lora的区别

sft阶段用全参数和lora的区别

近年来,大型语言模型的指令微调是自然语言处理领域的一个重要研究领域。
由于资源和成本的限制,一些研究人员采用了参数有效的调整技术,如LoRA,并取得了不错的结果。与全参数微调相比,基于LoRA的微调在训练成本方面表现出显著的优势。针对这类问题,本文介绍一篇关于全监督微调和lora微调的对比评估工作:
7fd1fa2b61db0a03706ce4319f784b21.png
该工作主要对比了全参数微调和Lora微调的对比,这对后续SFT模型微调有一定的参考意义。具体地,该工作利用LLaMA作为基本模型,对全参数微调和基于LoRA的微调方法进行了实验比较,实验结果表明,基础模型的选择、训练数据集规模、可学习参数数量和模型训练成本都是重要因素。供大家一起参考。

一、工作背景

目前,有几个开源的大型语言模型已经对教学数据进行了微调,包括OPT(Zhang等人,2022)、BLOOM(Workshop等人,2022。这些模型在一系列语言任务中表现出了卓越的性能,从而强调了指令微调在提高语言模型性能方面的潜在好处。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/盐析白兔/article/detail/731684
推荐阅读
相关标签
  

闽ICP备14008679号