赞
踩
虽然细粒度草图检索获得令人满意的结果,但需要实例级别的sketch/image pair标注信息,而且学习到的特征空间是domain-specific的,不能很好的推广到unseen classes。本文将 generalisation for FG-SBIR 看作 domain generalisation 问题。提出用无监督学习的方法来建模通用的sketch视觉特性字典,然后可以使用它来学习sketch/image特征。unseen classes的domain adaption问题可以通过先将sketch用通用字典表示,然后更新这个embedding来解决。
现有的FG-SBIR方法的泛化能力不好,主要是domain-shift问题。例如,在car上训练的模型,对于bicycle的性能就不好,因为缺少车把和座垫的“经验”。对于这些out-of-sample数据,基于triplet loss训练的网络可能不会再达到sketch/image pair距离近,反之距离远的效果。有两种缓解domain-shift的方法: Unsupervised domain adaptation(用unlabelled unseen classes来调整模型使得更适应unseen classes); domain generalisation(训练一个足够健壮的模型能够立即泛化到target domain data)。
为了解决cross-category FG-SBIR generalisation (CC-FG-SBIR)问题,提出一种新的框架,可以根据给定的查询sketch自动调整特征提取器。这确保了在测试时能够产生好的特征表示,即使是在处理来自unseen classes的sketch/i
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。