cv/nlp/多模态 面试准备 ---- 必背公式及python调用_多模态面试必备

一、 损失函数

1. 交叉熵损失函数:  公式中 x 表示样本, y 表示实际的标签, a 表示预测的输出, n 表示样本总数量。

torch.nn.CrossEntropyLoss(weight=None,ignore_index=-100, reduction='mean')

 2. triplet loss: 用于训练差异性较小的样本，如人脸识别等。通过优化锚示例与正示例的距离小于锚示例与负示例的距离，实现样本的相似性计算。

torch.nn.TripletMarginLoss(margin=1.0, p=2.0, eps=1e-06, swap=False, size_average=None, reduce=None, reduction='mean')

 3. focal loss：解决正负样本极不平衡的问题，聚焦于困难样本的训练

二、self-attention： 为 k的维度，归一化的目的主要是为了训练时梯度能够稳定。

三、简历中提到的计算

1. METEOR

 chunks: 候选译文和参考译文能够对齐的、空间排列上连续的单词形成一个 chunk。

unigrams_matched：匹配上的unigram个数。

（unigram 一元分词，把句子分成一个一个的汉字。bigram 二元分词，把句子从头到尾每两个字组成一个词语。trigram 三元分词，把句子从头到尾每三个字组成一个词语.）

P\R:  unigram 情况下的准确率P和召回率R，得到调和均值F值。

附：

BLEU：BLEU计算候选描述中n-gram与参考文本n-gram之间的重叠率得分

ROUGE：先计算出生成文本和参考文本之间的最长公共子序列长度，然后计算出参考文本的长度，将两者相除得到 ROUGE-L 分数

CIDEr: 将参考描述中的短语进行分解，并计算这些短语与生成描述中的短语之间的相似度。这种方法不仅考虑了单词频率，还考虑了短语重复和多样性等因素，

2. Contrastive Loss（videoclip）：对比损失学习视频和文本的对应关系