面向大模型微调的instruction指令自动化生成技术：SELF-INSTRUCT指令自动化生成框架工作介绍...

来自：老刘说NLP

进NLP群—>加入NLP交流群

大型的 "指令微调 "语言模型（对指令的回复进行微调）已经显示其出对新任务进行zero-shot生成的卓越能力。

然而，这种方法在很大程度上依赖于人类编写的指令数据，即SFT数据。而这些数据在数量、多样性和创造性方面都是有限的，因此阻碍了调整后的模型的通用性。

事实上，当前已经出现了一些开源的指令数据，比如promptsource，T0等，但如何自动化的生成指令，并验证其有效性尤为重要。

文章《SELF-INSTRUCT: Aligning Language Model with Self Generated Instructions》一文提出了SELF-INSTRUCT，一个通过引导生成预训练的语言模型来提高其指令跟随能力的框架，该框架从语言模型中生成指令、输入和输出样本，然后在使用它们来微调原始模型之前对它们进行过滤。

将该方法应用于vanilla GPT3，实验表明SUPER-NATURALINSTRUCTIONS上比原始模型有33%的绝对提高，与InstructGPT001的性能相当。

地址：https://arxiv.org/pdf/2212.10560v1.pdf

本文对该代表性的工作进行研读，并给出工作开源项目地址，大家可以阅读论文后根据自己的需求，借鉴其中的instruction数据或者生成方法，应用于自己的工作当中。

一、前言

大型预训练的语言模型（LM）和人类写的指令数据是当前一个热点。

其中，在数据上，PROMPTSOURCE（Bach等人，2022年）和SUPER- NATURALINSTRUCTIONS（Wang等人，2022年）是最近两个值得注意的数据集，它们使用大量的人工注释来收集指令来构建T0（Bach等人，2022年；Sanh等人，2022年）和T