极智AI | 多模态领域先行者 详解 CLIP 算法实现_clip算法

  欢迎关注我的公众号 [极智视界]，获取我的更多笔记分享

  大家好，我是极智视界，本文详细介绍一下 CLIP 算法的设计与实现，包括代码。

  多模态一定不是一个新鲜的话语，随着 AI 的发展，也正成为一种趋势，而 CLIP 做的就是在多模态领域里迈出了简单的一步，之所以说简单，是因为 CLIP 使用的方法出奇的简单，但效果又出奇的好。CLIP 具有非常好的迁移学习能力，预训练好的模型可以在任意一个视觉分类数据集上取得不错的效果，而且是 Zero-Shoot 的，意思是完全不需要再去这些数据集上做训练，就能得到这么好的结果。

  本文不止会介绍 CLIP 的原理，还会介绍 CLIP 的实现，包括代码。下面开始。

  参考 Paper：《Learning Transferable Visual Models From Natural Language Supervision》。

1 CLIP 算法原理

  CLIP 全称 Contrastive Language-Image Pre-training，具有十分强悍的迁移学习能力，为了佐证这个能力，在超过 30 多个视觉数据上进行测试，涵盖面十分广泛，包括 OCR、视频动作检测、坐标定位和许多细分类任务，