当前位置:   article > 正文

书生·浦语大模型实战营-第四课笔记

书生·浦语大模型实战营-第四课笔记

期待已久的微调

一、Finetune      

增量预训练和指令跟随是两种微调模式,即两种微调策略。  

1)增量预训练

投喂新的领域知识即可,例如书籍、文章、代码

2)指令跟随

采用高质量对话和问答数据进行训练

二、LoRA与QLoRA

两者是微调的方法,即算法。

三、XTuner

xtuner是一种微调框架。

四、实操

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/你好赵伟/article/detail/339373
推荐阅读
相关标签
  

闽ICP备14008679号