计算机视觉 + Self-Supervised Learning 五种算法原理解析_visual tokens

导语

自监督学习是一种机器学习方法，它利用未标记的数据来训练模型，而无需人工标注的标签。相反，自监督学习通过利用数据中的自动生成的标签或任务来训练模型。

现在，让我使用拟人化的方法来解释自监督学习的原理。假设你是一个学习者，而计算机视觉任务是你需要完成的作业。然而，与传统的监督学习不同，你的老师并没有直接告诉你作业的答案。相反，他提供了一些提示和线索来帮助你解决问题。这些提示可以是关于图像的一些变换，比如旋转、裁剪或翻转。你的任务是根据这些变换之间的关系来预测图像的正确答案，比如预测旋转前后的角度或翻转前后的方向。通过预测这些自动生成的标签，你逐渐理解了图像的结构和特征，从而学会了计算机视觉任务。

类似地，自监督学习中的计算机模型也通过观察数据中的自动生成的标签来学习图像的特征。这种方法利用了数据中的内在结构和关联性，无需手动标注大量的数据。通过大规模的未标记数据，模型可以自主地学习视觉特征，从而在各种计算机视觉任务中表现出色。

为什么在计算机视觉领域中进行自我监督学习？

尽管视觉模型有很多很好的模型，但它们的成功取决于对数据的巨大需求。因此，以有监督的方式培训这些模型需要广泛的标签工作，这并不总是可能的或可持续的。因此，实现视觉模型的自我监督方法可能是一种可能的方式，使这些模型不仅强大，而且更容易应用于更广泛的问题。

为了理解这种方法有多强大，让我们先来看看自然语言处理领域，在那里，自我监督的方法可以实现难以想象的结果。

GPT-3是迄今为止最大的语言模型之一，拥有1750亿个参数，被认为是迈向人工通用智能（AGI）的第一步，能够翻译文本、总结文本、回答问题，甚至根据文字描述编写代码！但要训练这样一个同样基于变形金刚的大型模型，你需要大量数据，尤其是GPT-3，它是用通过在互联网上爬行收集的570GB文本信息进行训练的。假设我们想以监督的方式训练这个模型，这意味着手动标记所有这些数据，这太疯狂了！

自监督学习方法