视觉-语言双流BERT模型之VilBERT学习笔记_vilbert huggingface

继 2018 年谷歌推出BERT 模型获得巨大成功之后，业界把BERT的思想迁移到视觉、视频任务中的例子越来越多，出现了很多融合的BERT模型。其中，ViLBERT模型是为视觉-语言任务训练非任务专用的视觉语言表征的BERT融合模型。最近，在做文本-视频语义相关性匹配，调研、学习了这篇文章，记录下来学习的笔记，方便后面回顾，温故而知新。

论文作者：Jiasen Lu, Dhruv Batra, Devi Parikh, Stefan Lee（佐治亚理工学院、俄勒冈州立大学、Facebook AI Research）

论文地址：https://www.aminer.cn/pub/5db9297647c8f766461f745b/

论文代码：https://github.com/jiasenlu/vilbert_beta

一、摘要

ViLBERT(Vision-and-Language BERT)模型可以学习视觉内容和文本内容的与特定任务无关的联合表征。ViLBERT在将BERT由单一的文本模态扩展为多模态双流模型。文本流和视觉流通过注意力Transformer层进行交互。首先，在Conceptual Captions数据集进行Pre-train，然后再迁移到视觉问答，视觉常识推理，指示表达(referring expressions)和基于字幕的图像检索这四个视觉-语言任务。在下游任务中使用ViLBERT时，只需要对基础架构进行略微修改即可。论文的实验表明，在4个下游任务中，对比面向各个任务的特定模型，ViLBERT的效果都更优异。

二、Introduction

近年来，通过图像、视频等生成文本的研究已有了很多丰硕的成果，这些方法和任务可归结为“vision-and-language”。虽然这些任务都需要将自然语言和视觉特征结合，但是“vision-and-language”任务还没有一个统一的基础来提升这种结合能力。“vision-and-language”现在通常的做法是先分别pretrain语言和视觉模型，然后针对特征任务进行基础知识的学习。通过这种方法学到的基础知识并不可靠，如果数据量不足或者是有bias的，那么模型的泛化能力会很差。

pretrain 然后transfer的学习方案在视觉和nlp任务中都被广泛运用，对于“vision-and-language”，在运用这种学习方案的同时，将视觉和文本之间的关系考虑进去也同等重要。比如，视觉模型对狗的品种分类，其视觉特征是100%可靠的，但是下游的“vision-and-language”任务无法将之与”小猎犬”或”牧羊人”这样的近似短语进行关联时，再怎么完美的特征，其作用也是近乎于无。因此，这边论文提出一种通用的可以学习到此类联系，并在vision-and-language任务中运用视觉基础模型。即，ViLBERT是面向视觉基础的pretrain。
为了学到visi