[技术杂谈]什么是全量参数微调

作者：不正经 | 2024-05-17 14:57:33

踩

[技术杂谈]什么是全量参数微调

在llama2-chinese里面有个全量参数微调概念，那么这个是什么意思？

微调，Fine-Tuning，一般指全参数的微调（全量微调），指是一类较早诞生的微调方法，全参数微调需要消耗大量的算力，实际使用起来并不方便，因此不久之后又诞生了只围绕部分参数进行微调的高效微调方法；
高效微调，State-of-the-art Parameter-Efficient Fine- Tuning (SOTA PEFT)，特指部分参数的微调方法，这种方法算力功耗比更高，也是目前最为常见的微调方法，比如lora微调、Prefix-Tuning、Prompt Tuning、P-Tuning v2等方法；
除此之外，Fine-Tuning可以代指全部微调方法，同时OpenAl中模型微调AP1的名称也是Fine-Tuning，需要注意的是，OpenAl提供的在线微调方法也是一种高效微调方法，并不是全量微调；

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/不正经/article/detail/584082