few-shot learning(少样本学习/小样本学习) & one-shot learning(一样本学习) & C-way K-shot 问题_5way1shot

作者：笔触狂放9 | 2024-04-26 02:59:41

踩

5way1shot

few-shot learning(少样本学习/小样本学习)

人类非常擅长通过极少量的样本识别一个新物体，比如小孩子只需要书中的一些图片就可以认识什么是“斑马”，什么是“犀牛”。在人类的快速学习能力的启发下，研究人员希望机器学习模型在学习了一定类别的大量数据后，对于新的类别，只需要少量的样本就能快速学习，这就是 Few-shot Learning 要解决的问题。

Few-shot Learning 是 Meta Learning 在监督学习领域的应用

以“人类从未见到过澳大利亚的鸭嘴兽，给我们一张鸭嘴兽的照片后，人类就认识了！”这句话为例。鸭嘴兽就代表未知的事物（new class），而我们生活中已经见到过的鸭子、狸猫、鱼等动物就代表知识的先验，我们把这种知识的先验称为元知识 (meta Knowledge)，我们大脑的能快速的把从未见过的鸭嘴兽与这些元知识快速的类比（可能还存在一些其他脑力活动，如视觉提取物体的特征），得出结论：这个长得像鸭子嘴，还能像鱼一样游泳、身形扁扁的新动物就是鸭嘴兽。

经过上图，再加上下面的过程的文字介绍，我们应该可以理解小样本学习的过程了。

那么，小样本学习如何训练，就是这个 $\mathcal{D}_{base}$ 怎么用呢？

有两种训练方式：

1. 就是像《Matching Nets》《RelationNet》《Prototypical Nets》《Meta-SGD》等等那样，训练测试保持统一，训练过程模拟测试过程。即训练时候，以 MatchNets，5way-1shot为例，每次也是随机采5个类，每类中1张图像做support sample，剩余的 99 张图像中可采15张做query samples ，query 与 support 通过 cosine distance 分类并计算 loss。这属于一种元学习的训练策略，往往用于 5-way 的设置

2. 普通分类训练方式， $\mathcal{D}_{base}$ 直接用普通分类方式来训练一个鲁棒的特征提取器， $\mathcal{D}_{novel}$ 可以直接通过 SVM，Euclid ，权重迁移的方式分出 query set。

C-way K-shot 问题

few-shot 的训练集中包含了很多的类别，每个类别中有多个样本。在训练阶段，会在训练集中随机抽取 C 个类别，每个类别 K 个样本（总共 CK 个数据），构建一个 meta-task，作为模型的支撑集（support set）输入；再从这 C 个类中剩余的数据中抽取一批（batch）样本作为模型的预测对象（batch set）。即要求模型从 C*K 个数据中学会如何区分这 C 个类别，这样的任务被称为 C-way K-shot 问题。

这里的少样本学习的研究领域与迁移学习有一大部分交集部分，即在源域有足够多样本，而在目标域样本不足。

最近几年 Few-shot Learning 在图像领域的进展领先于在自然语言处理领域

One-shot learning 一样本学习

少样本学习，机器学习模型在学习了一定类别的大量数据后，对于新的类别，只需要少量的样本就能快速学习，对应的有one-shot learning, 一样本学习，也算样本少到为一的情况下的一种few-shot learning,

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/笔触狂放9/article/detail/488607

few-shot learning(少样本学习/小样本学习) & one-shot learning(一样本学习) & C-way K-shot 问题_5way1shot

few-shot learning(少样本学习/小样本学习)

那么，小样本学习如何训练，就是这个 怎么用呢？

C-way K-shot 问题

One-shot learning 一样本学习

那么，小样本学习如何训练，就是这个 $\mathcal{D}_{base}$ 怎么用呢？