【论文极速读】Prompt Tuning——一种高效的LLM模型下游任务适配方式_llm 微调 修改下游任务

前言

Prompt Tuning是一种PEFT方法（Parameter-Efficient FineTune），旨在以高效的方式对LLM模型进行下游任务适配，本文简要介绍Prompt Tuning方法，希望对读者有所帮助。如有谬误请见谅并联系指出，本文遵守CC 4.0 BY-SA版权协议，转载请联系作者并注明出处，谢谢。
$\nabla$ 联系方式：

e-mail: FesianXu@gmail.com

github: https://github.com/FesianXu

知乎专栏: 计算机视觉/计算机图形理论与应用(https://www.zhihu.com/column/c_1265262560611299328)

微信公众号：机器学习杂货铺3号店

---

众所周知，当前LLM是人工智能界的香饽饽，众多厂商和研究者都希望能够在LLM上进行应用推广和研究，这就难免需要对LLM进行下游任务的适配，最理想的情况当然是可以用私有数据，进行全网络端到端的微调。但是LLM现在参数量巨大，大部分都大于6B，有些甚至达到了100B以上，即便是端到端微调都需要大量的硬件资源。 PEFT(Parameter-Efficient FineTune)旨在最高效地引入参数，探索合适的训练方式，使得LLM适配下游任务的代价最小化，而本文提到的Prompt Tuning [1] 就是这样一个工作。

在介绍这个工作之前，我们得知道什么是prompt，关于prompt的内容之前在博文[2]中曾经介绍过，简单来说，就是用某种固定的模板或者范式，尝试去让LLM去适配下游任务，从在prompt中是否提供例子的角度上看，又可以分为one-shot prompt, few-shot prompt, zero-shot prompt等。但是，在文章[3]中提到过，不同的prompt模板对性能的影响巨大，如Fig 1.所示，我们也把这种prompt称之为硬提示词（hard-prompt）。既然有『硬』的，那么就肯定有『软』的prompt，soft-prompt指的是模型可以通过学习的方式去学习出prompt模板，经典工作包括P-Tuning [3], prefix prompt [4], soft prompt [5]，以及本文将会介绍到的prompt tuning [1]。

如Fig 2.所示，在prompt tuning中，在原有hard prompt模板之前拼接了若干个可学习的token，我们用 $\mathbf{P}\in {\mathbb{R}}^{p\times d}$表示soft prompt部分，其中$p$为拼接的token数量，用$\mathbf{X}\in {\mathbb{R}}^{n\times d}$ 表示hard prompt部分。那么，完整的prompt可表示为$[\mathbf{P};\mathbf{X}]\in {\mathbb{R}}^{(p+n)\times d}$，模型的目标既变为了 $P(\mathbf{Y}|[\mathbf{P};\mathbf{X}])$。此时，LLM的参数和embedding层的参数都是设置为不可学习的 (❄)，整个网络只有soft prompt层是可学习的（ 本文内容由网友自发贡献，转载请注明出处：【wpsshop博客】