机器学习10 -- 半监督学习 Semi-supervised Learning_class-aware contrastive semi-supervised learning

1 为什么要做半监督学习

有监督机器学习已经在很多领域证明了它的有效性，比如ImageNet图像分类任务，深度学习模型早在2017年，准确率就已经超过了人类。机器学习被认为是一门数据驱动的学科，数据分为两部分，data和label。通常情况下，data是比较容易获取的，而label需要标注，要珍贵很多。比如对于图像分类任务，网络上有成千上万的图片数据，但他们大多数都是没有label标注的。

通常情况下，我们可以进行一小部分数据的标注，形成有监督数据，然后再利用好其他未标注数据。这种方法称为半监督学习。半监督学习的价值在于

1. 大大降低了机器学习模型对于标注数据的依赖，特别是项目处于冷启动的时候。
2. 未标注数据的分布，能提供很多信息，对模型迭代有指导意义，即使他们是unlabeled
3. 未标注数据大多数情况下很容易获取，数据量很大。质量不够，数量来凑。利用得当，也能产生很大价值。

2 半监督方法

2.1 self-training 自学习

self-training的大体流程如下

1. 利用labeled data训练一个模型，训练方法没有任何限制
2. 利用训练好的模型，对unlabled data进行predict，得到标注，称为pseudo label
3. 从pseudo