机器学习13 -- 无监督学习之自监督 self-supervised

1 为什么要自监督学习 self-supervised learning 

自监督学习是无监督学习的一种特殊方式。我们在无监督学习中讲过了，标注label是十分宝贵的，一般需要人工打标，时间和人力成本都十分高昂。但现实中，获取无标注data确实相对比较easy的事情。我们可以在网络上爬取很多很多的文本、图片、语音、商品信息等。如何利用这些无标注data，一直以来都是无监督学习的一个重要方向。而自监督学习则给出了一种解决方案。

自监督学习通过data的一部分，来predict其他部分，由自身来提供监督信号，从而实现自监督学习。利用自监督学习，可以学到一定的文本或图片的表征，从而有利于下游任务的展开。这就是pretrain-finetune

2 自监督学习实现方案

自监督学习实现方案主要有

1. 利用部分data来重建整个data。这其实就是Denoising Auto-Encoder的一种。NLP方面BERT系列的Mask language model，和CV领域的图像还原In-painting，都是采用了这种方案
2. CV领域的一些任务。比如将图片分割为9块，打乱后，进行拼图。将图片旋转一定角度，然