instruction-tuning_instruct tuning

作者：煮酒与君饮 | 2024-07-24 14:05:27

踩

instruct tuning

instruction-tuning是在Prompt-tuning之后提出的，它的思想是：在对A做Prompt-tuning之前，先在其他若干的任务之上做Prompt-tuning。如图：
在这里插入图片描述
每个任务有多个Prompt，作者使用了10个。
比较注意的是，instruction-tuning的prompt-tunning方法不能是生成式的应该是指令式的。
生成式：

指令式：

因为生成式比较难，而且生成式的prompt-tunning只适用于本任务，没有迁移能力。

引用：
别再Prompt了！谷歌提出tuning新方法，强力释放GPT-3潜力！
Instruction Tuning｜谷歌Quoc V.Le团队提出精调新范式！香过Prompt！

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/煮酒与君饮/article/detail/875119