当前位置:   article > 正文

【零样本草图检索】Generalising Fine-Grained Sketch-Based Image Retrieval

零样本草图检索

Abstract

虽然细粒度草图检索获得令人满意的结果,但需要实例级别的sketch/image pair标注信息,而且学习到的特征空间是domain-specific的,不能很好的推广到unseen classes。本文将 generalisation for FG-SBIR 看作 domain generalisation 问题。提出用无监督学习的方法来建模通用的sketch视觉特性字典,然后可以使用它来学习sketch/image特征。unseen classes的domain adaption问题可以通过先将sketch用通用字典表示,然后更新这个embedding来解决。

Motivation

现有的FG-SBIR方法的泛化能力不好,主要是domain-shift问题。例如,在car上训练的模型,对于bicycle的性能就不好,因为缺少车把和座垫的“经验”。对于这些out-of-sample数据,基于triplet loss训练的网络可能不会再达到sketch/image pair距离近,反之距离远的效果。有两种缓解domain-shift的方法: Unsupervised domain adaptation(用unlabelled unseen classes来调整模型使得更适应unseen classes); domain generalisation(训练一个足够健壮的模型能够立即泛化到target domain data)。

为了解决cross-category FG-SBIR generalisation (CC-FG-SBIR)问题,提出一种新的框架,可以根据给定的查询sketch自动调整特征提取器。这确保了在测试时能够产生好的特征表示,即使是在处理来自unseen classes的sketch/i

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/笔触狂放9/article/detail/195060
推荐阅读
相关标签
  

闽ICP备14008679号