[论文阅读72]Parameter-Efficient Transfer Learning for NLP

1. 基本信息

Houlsby N, Giurgiu A, Jastrzebski S, et al. Parameter-efficient transfer learning for NLP[C]//International Conference on Machine Learning. PMLR, 2019: 2790-2799.

论文链接：http://proceedings.mlr.press/v97/houlsby19a.html

论文代码：

2. 要点

引入Adapter的目标：对于N个任务，完全微调模型需要N x 预训练模型的参数数量。可是Adapter的目标是达到微调相当的性能，但总参数训练更少，理想情况下接近1 ×。

3. 模型(核心内容)

Adapter与transformer的结合框架。

在Transformer中的两个地方增加，一个地方在projection后面，一个地方在两个前向层后面；

对于每个Adapter层像一个瓶颈。它的参数比较原始模型少很多，也包含skip-connection. 只更新绿色部分部分。

4. 实验与分析

AutoML平台进行实验的。

4.1 数据集

GLUE benchmark

17个公开数据

SQuAD question answering

4.2 GLUE benchmark的结果

GLUE得分为80.0，而完全微调为80.4。

BERT_LARGE模型的总调参数为9.0 x ，表示这9个任务都得微调的总和；

Adapters的最好效果为80.0，而参数总量只为1.3倍于原模型参数据，训练的参数只有3.6%.

5. 小结

提出了与transformer相结合的adapter模型，可以在训练少参数的情况下达到全调的效果。想法很不错，效果也是比较好的。