当前位置:   article > 正文

cv/nlp/多模态 面试准备 ---- 必背公式及python调用_多模态面试必备

多模态面试必备

一、 损失函数

1. 交叉熵损失函数:  公式中 x 表示样本, y 表示实际的标签, a 表示预测的输出, n 表示样本总数量。

torch.nn.CrossEntropyLoss(weight=None,ignore_index=-100, reduction='mean')

 2. triplet loss: 用于训练差异性较小的样本,如人脸识别等。通过优化锚示例与正示例的距离小于锚示例与负示例的距离,实现样本的相似性计算。

torch.nn.TripletMarginLoss(margin=1.0, p=2.0, eps=1e-06, swap=False, size_average=None, reduce=None, reduction='mean')

 3. focal loss:解决正负样本极不平衡的问题,聚焦于困难样本的训练

二、self-attentiond_k 为 k的维度,归一化的目的主要是为了训练时梯度能够稳定。

三、简历中提到的计算

1. METEOR

 chunks: 候选译文和参考译文能够对齐的、空间排列上连续的单词形成一个 chunk。

unigrams_matched:匹配上的unigram个数。

(unigram 一元分词,把句子分成一个一个的汉字。bigram 二元分词,把句子从头到尾每两个字组成一个词语。trigram 三元分词,把句子从头到尾每三个字组成一个词语.)

P\R:  unigram 情况下的准确率P和召回率R,得到调和均值F值。

附:

BLEU:BLEU计算候选描述中n-gram与参考文本n-gram之间的重叠率得分

ROUGE:先计算出生成文本和参考文本之间的最长公共子序列长度,然后计算出参考文本的长度,将两者相除得到 ROUGE-L 分数

CIDEr: 将参考描述中的短语进行分解,并计算这些短语与生成描述中的短语之间的相似度。这种方法不仅考虑了单词频率,还考虑了短语重复和多样性等因素,

2. Contrastive Loss(videoclip):对比损失学习视频和文本的对应关系

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/weixin_40725706/article/detail/450810
推荐阅读
相关标签
  

闽ICP备14008679号