多模态融合(五)Dynamic Fusion with Intra- and Inter-modality Attention Flow for Visual Question Answering

作者：我家小花儿 | 2024-06-10 03:40:25

踩

dynamic fusion with intra- and inter-modality attention flow for visual ques

背景

本篇论文的工作来自香港中文大学。研究内容是VQA

摘要

学习有效地融合多模态特征是视觉问题回答的核心。本文提出了一种动态融合模态内、模态间信息流，即在视觉模态和语言模态之间传递动态信息的新方法。作者提到，在此之前，处理VQA问题所使用的方法基本分为两大派，模态内的关系学习或者模态间的关系学习。然而，在解决VQA问题的统一框架中，模态间和模态内的关系从来没有被联合研究过。本文认为，对于VQA问题，每个模态内的模态关系与模态间的关系是互补的，而现有的VQA方法大多忽略了这一点。

方法

在这里插入图片描述

Intermodality Attention Flow 模态间的注意力流

受Transformer模型的启发，利用 $W_Q,W_V,W_K$

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家小花儿/article/detail/697015