当前位置:   article > 正文

Text-image 论文分享_text-based image retrieval相关论文

text-based image retrieval相关论文

Text-image retrieval 论文分享
论文链接
[1]Pose-Guided Joint Global and Attentive Local Matching Network for Text-Based Person Search
Task:这篇文章是放在2019arXiv上的,主要讲的是利用姿态信息和注意力机制来解决基于文本的人物检索的问题。
Motivation: 作者认为提取与语言描述相关的视觉内容是解决这个跨模态匹配的关键;相关图像和语言描述会涉及不同层次的语义相关性。
因此,为了利用人物描述和相对应的视觉内容多层次的相关性,作者提出GALM(Pose-guide global and attentive local matching network)。包括三部分:全局,单个局部,双重局部

Difficulties::
1、全局表征不能有效提取到图片中与人物相关的视觉内容。(利用pose information)
2、全局特征是一个粗糙的表征,只有局部的image region才与给定的文本描述有关(利用hard attention)
3、除了句子级别的关联,词组级别的关联对image-text matching 同样重要
(利用Pose-guide the aligned part matching)

模型结构

这篇文章的公式比较多,因为用到三个分支计算损失函数,但静下心来看的话还是能够看的懂得,没有特别难的地方。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/Cpp五条/article/detail/522971
推荐阅读
相关标签
  

闽ICP备14008679号