当前位置:   article > 正文

MATLAB算法实战应用案例精讲-【人工智能】对比学习(概念篇)(补充篇)_support-set bottlenecks for video-text representat

support-set bottlenecks for video-text representation learning

目录

前言

几个高频面试题目

基于对比学习(ContrastiveLearning)的文本表示模型【为什么】能学到文本【相似】度?

为什么对比学习能学到很好的语义相似度?

那么如何评价这个表示空间的质量呢?

知识储备

监督学习和非监督学习

算法原理

什么是对比学习

对比学习过程步骤

算法思想

前置任务

颜色变换

​编辑

几何变换

基于上下文的

基于帧的

 未来预测

视图预测 View Prediction (Cross modal-based)

确定对的前置任务

对比学习一般泛式

对比损失

原始对比损失

三元组损失(triplet loss)

InfoNCE损失

 对比方法如何工作的?

Deep InfoMax

Contrastive Predictive Coding

 对比学习在NLP文本表示的一些方法

一. 基于BERT的句子表示

二. 基于对比学习的BERT表示学习

对比学习论文

NCL

 ICL

RGCL 

MCCLK 

MIDGN 

PCL

BalFeat

MiCE

i-Mix

 Contrastive Learning with Hard Negative Samples

 

LooC

CALM

 Support-set bottlenecks for video-text representation learning

 SpCL

SimCLR V2

 Hard Negative Mixing for Contrastive Learning

Supervised Contrastive Learning

Contrastive Learning with Adversarial Examples

LoCo

What Makes for Good Views for Contrastive Learning?

GraphCL

ContraGAN 

 算法拓展

多层次对比学习的跨模态检索

方法

编码器

动量跨模态对比(MCC)

层次跨模态对比匹配(HCM)

实验

 应用场景

半监督学习


前言

自监督学习(Self-supervised learning)最近获得了很多关注,因为其可以避免对数据集进行大量的标签标注。它可以把自己定义的伪标签当作训练的信号,然后把学习到的表示(representation)用作下游任务里。最近,对比学习被当作自监督学习中一个非常重要的一部分,被广泛运用在计算机视觉、自然语言处理等领域。它的目标是:将一个样本的不同的、增强过的新样本们在嵌入空间中尽可能地近,然后让不同的样本之间尽可能地远。

几个高频面试题目

基于对比学习(ContrastiveLearning)的文本表示模型【为什么】能学到文本【相似】度?

有监督训练的典型问题,就是标注数据是有限的。目前NLP领域的经验ÿ

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小惠珠哦/article/detail/875678
推荐阅读
相关标签
  

闽ICP备14008679号