few/one shot learning调研——《Generalizing from a Few Examples: A Survey on Few-shot Learning》_a survey of deep visual cross-domain few-shot lear

作者：神奇cpp | 2024-07-25 01:34:33

踩

a survey of deep visual cross-domain few-shot learning

一.小样本学习（Few-shot Learning）综述

1.1问题定义

人类非常擅长通过极少量的样本识别一个新物体，比如小孩子只需要书中的一些图片就可以认识什么是“斑马”，什么是“犀牛”。在人类的快速学习能力的启发下，研究人员希望机器学习模型在学习了一定类别的大量数据后，对于新的类别，只需要少量的样本就能快速学习，这就是 Few-shot Learning 要解决的问题。

问题：比如，人在学习了“胖瘦”、“高矮”这些知识后，去认识新的人或者非人的物种时，还可以区别他。但是这样的问题传统的图像已经可以解决了，用机器学习的意义和优势在哪？

小样本学习属于迁移学习

1.2 FSL的核心问题

基于如何使用先验知识来处理这个核心问题，我们从三个角度对FSL方法进行了分类:
(1)数据：它使用先验知识来增强监督经验，即增强训练数据；

data: which uses prior knowl-edge to augment the supervised experience;

(2)模型：它使用先验知识来减小假设空间的大小；

mode:which uses prior knowledge to reduce the size of the hypothesis space;

(3)算法：其使用先验知识来改变在给定假设空间中对最佳假设的搜索。

algorithm:which uses prior knowledge to alter the search for the best hypothesis in the given hypothesis space

Alt

1.3 FSL的模型

Few-shot Learning 模型大致可分为三类：Mode Based，Metric Based 和 Optimization Based。

二.数据扩充（augment data ）

FSL方法利用先验知识来扩充数据结构
Alt
在这里插入图片描述

2.1 从训练数据来扩充数据

该策略通过将每个训练数据转换成几个具有变化的样本来增加数据,目前研究的：
(1）通过迭代地将每个样本与其他样本对齐，从一个相似的类中学习一组几何变换。学习的变换被应用到每个(xi，yi)形成一个大的数据集，然后可以通过标准的机器学习方法来学习

E. G. Miller, N. E. Matsakis, and P. A. Viola. 2000. Learning from one example through shared densities on transforms.In Proceedings of the Conference on Computer Vision and Pattern Recognition, Vol. 1. 464–471.

(2）从相似的类中学习到一组自动编码器，每个自动编码器代表一个类内可变性。通过将学习到的变化添加到xi来生成新的样本

E. Schwartz, L. Karlinsky, J. Shtok, S. Harary, M. Marder, A. Kumar, R. Feris, R. Giryes, and A. Bronstein. 2018. Delta- encoder: An effective sample synthesis method for few-shot object recognition. In Advances in Neural Information Processing Systems. MIT Press, 2850–2860.

(3)从相似的类中学习到一组自动编码器，每个自动编码器代表一个类内可变性。通过将学习到的变化添加到xi来生成新的样本

B. Hariharan and R. Girshick. 2017. Low-shot visual recognition by shrinking and hallucinating features. In Proceed-
ings of the International Conference on Computer Vision.

(4)从一大组场景图像中学习到的一组独立属性强度回归器将每个样本转换成几个样本

R. Kwitt, S. Hegenbart, and M. Niethammer. 2016. One-shot learning of scene locations via feature trajectory transfer.In Proceedings of the Conference on Computer Vision and Pattern Recognition. 78–86.

2.2从弱标记或非标记数据集转换样本

这种策略通过从大数据集(弱标记或未标记)中选择带有目标标记的样本来增强数据传输
(1)为数据集中的每个目标标签学习一个样本SVM，然后用于从弱标签数据集预测样本的标签。然后将带有目标标签的样本添加到D_train中

T. Pfister, J. Charles, and A. Zisserman. 2014. Domain-adaptive discriminative one-shot learning of gestures. In
Proceedings of the European Conference on Computer Vision. 814–829.

(2)使用渐进策略来选择信息丰富的未标记样本。选定的样本然后被分配伪标签

Y. Wu, Y. Lin, X. Dong, Y. Yan, W. Ouyang, and Y. Yang. 2018. Exploit the unknown gradually: One-shot video-
based person re-identification by stepwise learning. In Proceedings of the Conference on Computer Vision and PatternRecognition. 5177–5186.

2.3从相似数据集转换样本

这种策略通过从相似但更大的数据集聚集和调整输入输出对来增加数据传输。聚集权重通常基于样本之间的某种相似性度量

（1）它从辅助文本语料库中提取聚合权重。由于这些样本可能不是来自目标FSL类，直接将汇总样本增加到数据可能会产生误导

Y. H. Tsai and R. Salakhutdinov. 2017. Improving one-shot learning through fusing side information. arXiv preprint
arXiv:1710.08347

（2）GAN

I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, and Y. Bengio. 2014. Gen-
erative adversarial nets. In Advances in Neural Information Processing Systems. MIT Press, 2672–2680.