迁移学习总结(One Shot Learning, Zero Shot Learning)_zero shot 迁移学习

目录

迁移学习

综述

这段时间要做元学习相关的工作所以，首先对迁移学习了简单的学习分类，接下来会持续更新对于元学习论文的阅读还有理解。
以前接触最多的是图像的分类问题，我们将一个很大的数据集分为两个部分，一部分作为训练集，剩下的部分作为测试集。我们在训练集上面根据神经网络的基础算法比如back propagation 和 SGD算法对网络进行训练，训练结束之后用测试集对网络的泛化能力进行测试，通常用准确率表示。这就是简单的深度学习，这些学习任务的重点是训练出一个泛化能力很强的网络，由于是从相同的数据集里面抽离出来的，所以训练集还有测试集的种类都是相同的，没有多余的类。比如说，MNIST是一个简单的手写数字识别的库，训练集和测试集都是手写的数字，只包含0，1，2，3，4，5，6，7，8，9，0 十个数，不会让你完成其他的任务。
相类似的问题如下图：

可以看到在后面的两个任务里面做了我们看起来毫无关系的迁移学习，这实现起来是相当困难的，甚至可能不会取得很好的效果。
更多的例子见：1 and 2
下面我们对目前存在的迁移学习的种类进行分类，在迁移学习的学习任务中通常包括两个集合，Source Data还有 Target Data，source data。source data是我们解决问题之前就知道的相关的数据，它和Target任务之间存在一定的关系。Target Data

Source Data 与Target Data 都有标签

Fine-tuning

• 任务描述：Source data: