自监督学习(Self-Supervised Learning)多篇论文解读（上）_rethinking rotation in self-supervised contrastive

自监督学习(Self-Supervised Learning)多篇论文解读（上）

前言

Supervised deep learning由于需要大量标注信息，同时之前大量的研究已经解决了许多问题。所以近期大家的研究关注点逐渐转向了Unsupervised learning，许多顶会包括ICML, NeurIPS, CVPR, ICCV相继出现一些不错的paper和研究工作。

这里主要关注Unsupervised learning一类特定的方法：Self-supervised learning（自监督学习）。自监督学习的思想非常简单，就是输入的是一堆无监督的数据，但是通过数据本身的结构或者特性，人为构造标签（pretext）出来。有了标签之后，就可以类似监督学习一样进行训练。

今年（2020） Self Supervised Learning （SSL） 的研究来到了新的高峰。

不仅在AAAI 上 LeCun， Bengio 与 Hinton 都对这领域寄与厚望;最近发表的文章也显示 SSL 得到的模型表现在 ImageNet dataset 上逐渐逼近了传统 Supervised
Learning 的表现了。

近年ResNet-50在ImageNet 上的表现

比较知名的工作有两个，一个是：Unsupervised Visual Representation Learning by Context Prediction (ICCV15)，如图一，人为构造图片Patch相对位置预测任务，这篇论文可以看作是self-supervised这一系列方法的最早期paper之一；另一个是：Unsupervised Representation Learning by Predicting Image Rotations (ICLR18)，如图二，人为构造图片旋转角度预测任务，这篇论文因为想法极其简单在投稿到ICLR之后受到了极大关注，最终因为实验结果非常全面有效最终被录用。

在实际应用中（例如业界中已经部署的模型）， Self Supervised Learning 未必能直接有效的提升 Performance ，但阅读这些文章还是能得到不少启发。例如我们能对以下 Supervised Learning 问题有更多想法：

·
如果将 Deep Network 学习到有用的信息，人工标记 （Manual-Label） 是必要的吗？

·
数据（ Data） 本身带有的信息是否比标记 （Label） 更加丰富？

·
我们能将每张图视为一个类别（Class）;甚至每一个 Pixel 都视为一个类别吗？

以上问题可能有点天马行空，如果在实际应用上我们能思考：

·
在Representation Learning 中，如何能等价的增大 Batch Size？如何能维持 Embedding Space 的稳定性？

·
在Deep Network 一定是最后一层具有最丰富的 Representation 吗？

·
听说Deep Network 的Capacity 很强大 ，但时至今日，我们是否已经达到 Model 能负荷的上限？（例如ResNet-50有 24M 个参数，号称拥有 ‘大数据’ 的人们，是否已经触碰到
Effective Upper-Bound of ResNet-50’s Model Complexity？）

·
如果Model Complexity 远超乎我们想象，那什么样的 Training Procedure 能最有效率的将信息储存于Deep Network中？

·
Data Augmentation是学习 Deep Learning 一定会接触到的方法，它只是一个方便 Training 的 Trick 呢？还是他对 Network 有特殊意义？

这些问题目前没人能给出确切答案，但在接下来的文章中