小样本学习（FSL）：Few-shot Learning 综述【模型微调（Fine-tunning）、数据增强、迁移学习（Transfer Learning）】_小样本学习方法

分类非常常见，但如果每个类只有几个标注样本，怎么办呢？

比如：我们打造了一个智能对话开发平台以赋能第三方开发者来开发各自业务场景中的任务型对话，其中一个重要功能就是对意图进行分类。大量平台用户在创建一个新对话任务时，并没有大量标注数据，每个意图往往只有几个或十几个样本。

面对这类问题，有一个专门的机器学习分支——Few-shot Learning 来进行研究和解决。

一、小样本学习方法

1、基于模型微调的小样本学习

基于模型微调的方法是小样本学习较为传统的方法,该方法通常在大规模数据上预训练模型,在目标小样
本数据集上对神经网络模型的全连接层或者顶端几层进行参数微调,得到微调后的模型.若目标数据集和源数
据集分布较类似,可采用模型微调的方法.

为了使微调后的小样本分类模型取得较好的效果,使用何种微调方法需要被考虑.Howard 等人[14]在 2018
年提出了一个通用微调语言模型(universal language model fine-tuning,简称 ULMFit).与其他模型不同的是,此方
法使用了语言模型而非深度神经网络.该模型分为3个阶段:(1) 语言模型预训练;(2) 语言模型微调;(3) 分类器
微调.该模型的创新点在于改变学习速率来微调语言模型,主要体现在两个方面.

1. 传统方法认为,模型每一层学习速率相同;而ULMFit中,语言模型的每一层学习速率均不相同.模型底 层表示普遍特征,这些特征不需要很大调整,所以学习速率较慢;而高层特征更具有独特性,更能体现
   出任务和数据的独有特征,于是高层特征需要用更大的学习速率学习.总体看来,模型底层到最高层
   学习速率不断加快.
2. 对于模型中的同一层,当迭代次数变化时,自身学习率也会相应地产生变化.作者提出了斜三角学习
   率的概念,当迭代次数从 0 开始增加时,学习速率逐渐变大;当迭代次数增长到某个固定