Finetuned Language Models Are Zero-Shot Learners

Abstract

本文探索了一种简单的方法来提升语言模型的零样本（zero-shot）学习能力。我们发现 指令微调（instruction tuning） 显著提高了未见任务的零样本性能。

• 指令微调：即在一组通过指令描述的数据集上对模型进行微调

我们对一个 137B 参数的预训练模型在 60 个 NLP 任务上进行指令微调。这些任务通过自然语言指令模板进行表述。我们将指令微调后的模型称为 FLAN。

我们在未见任务上进行评估，发现

• FLAN 显著好于微调前的版本
• 在 20/25 个任务上超过 zero-shot 175B GPT-3
• FLAN 在 ANLI, RTE, BoolQ, AI2-ARC, OpenbookQA, StoryCloze 等任务上甚至超时 few-shot GPT-3

消融实验显示，微调数据集的大小、模型的规模、自然语言指令都是指令微调成功的关键。

1 INTRODUCTION

GPT-3 为代表的大语言模型在 few-shot 情况表现很好，但是在 zero-shot 上效果差多了。一个可能的原因是在没有 few-shot 样本时，模型很难在与预训练数据格式不相似的 Prompt 上表现良好。

针对以上问题，本文利用了 NLP 任务可以使用自然语言指令描述这一直觉，例如

• “Is the sentiment of this movie review positive or negative?”
• “Translate ‘how are you’ into Chinese.”

我们对 137B 参数的预训练模型进行指令微调，结果称为 FLAN (