prefix, p-tuningv2, lora finetune该怎么选择?【finetune top laryers-＞ P_tuning V2 -＞ LoRA -＞ QLoRA】_为什么chatglm3 p-tuningv2 比lora 效果好

作者：你好赵伟 | 2024-04-28 11:11:22

踩

为什么chatglm3 p-tuningv2 比lora 效果好

DeepSpeed Chat:　开源的一个类ChatGPT的模型，并且完整复现了InstructGPT论文（chatGPT的重要方案）提出的三步训练法．可以实现一个脚本训练三步．详细内容参见官档感兴趣的也可看下体验测试内容: 52AI：deepSpeed （DeepSpeed-Chat）体验

有了可操作的方案，那么怎么finetuning一个自己的专用模型就显得尤为重要。本文主要来自近端时间finetune chatGLM和deepspeed chat遇到的finetune方法的汇总.

Fine-tuning is the de facto way to leverage large pretrained language models to perform downstream tasks.

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/你好赵伟/article/detail/501946