【多模态】31、Qwen-VL | 一个开源的全能的视觉-语言多模态大模型

作者：运维做开发 | 2024-07-04 15:13:55

踩

qwen-vl

在这里插入图片描述

文章目录

论文：Qwen-VL: A Versatile Vision-Language Model for Understanding, Localization, Text Reading, and Beyond

代码：https://github.com/QwenLM/Qwen-VL

出处：阿里

时间：2023.10

贡献：

Qwen-VL 在大量以视觉为中心的理解基准上实现了优秀的性能
Qwen-VL 支持多语言，尤其是英文和中文，自然的支持英文、中文和多语言指令
Qwen-VL 在训练阶段支持任意交错的图像-文本数据作为输入
Qwen-VL 在细粒度的图像理解上更好，因为在训练中使用了更高分辨率的输入大小和细粒度的语料库，有很好的文本阅读、面向文本的问答、细粒度的对话等能力

在这里插入图片描述

一、背景

尽管现有的很多多模态大模型取得了不错的效果，但开源的多模态大模型仍然有训练和优化不足的问题，也落后于专有模型，此外，现实场景非常复杂，所以地力度的视觉理解很重要，但相关研究不是很多。

本文开源了一系列 Qwen 家族的模型 Qwen-VL 系列，该系列模型是基于 Qwen-7B 语言模型的，作者通过引入了一个新的 visual capacity，包括一个 language-aligned 视觉编码器和一个 position-aware adapter，来提升 LLM 基准。

整个模型架构及输入输出都很简洁，且作者使用了一个三阶段的训练流程

Qwen-VL 的能力：

能够感知和理解视觉输入，根据给定的提示生成回答，并完成各种视觉任务，如 caption、问题回答等

Qwen-VL-Chat：

基于 Qwen-VL 的指令调优视觉语言聊天机器人，能够和用户交流，根据用户意图来感知输入图像

在这里插入图片描述

二、方法

2.1 模型架构

网络整体架构由 3 个部分组成，如表 1 所示：

大型语言模型：Qwen-VL 使用大语言模型 Qwen-7b 作为其基础组件，使用预训练好的权重来初始化模型
视觉编码器：Qwen-VL 使用 ViT 架构作为视觉编码器，具体的是使用的 Openclip 的 ViT-bigg 预训练的权重进行初始化，在训练过程中，输入图像都被调整到特定的分辨率。且视觉编码器将图像分割成 14 大小的 patch 后生成一组图像特征
position-aware Vision-Language Adapter：为了环境长图像特征序列带来的效率问题， Qwen-VL 引入了一个压缩图像特征的适配器，该适配器包含一个随机初始化的单层 cross-attention 模块。该模块使用一组可训练的向量（embedding）来作为 query，encoder 提取到的图像特征作为 key，这种机制将视觉特征序列压缩为固定长度 256。

在这里插入图片描述

2.2 输入和输出

1、图像输入

图像通过 visual encoder 和 adapter 进行处理，产生固定长度的图像特征序列，为了区分图像特征输入和文本特征输入，在图像特征序列的开始和结束添加了两个特殊标记 ( 和 )，分别表示开始和结束

2、bounding box 输入和输出

为了增强模型对细粒度视觉的理解和定位，Qwen-VL 的训练包括 region description、questions、detections，该任务需要模型以指定格式准确理解和生成区域描述。

对应任何给定的 bbox，使用归一化方法将其归一化到 [0,1000]，并转换为指定的字符串格式：“(x1,y1),(x2,y2)”，且在开始和结束处添加（和），与其相关的描述语句还会添加特殊标记（和）

2.3 训练

Qwen-VL 的训练分为三个阶段，前两个阶段是预训练，最后一个阶段是指令微调

1、预训练

在第一预训练结果，作者主要使用 large-scale，weakly labeled，web-crawled 的 image-text pairs 来训练，数据如表 2 所示，original dataset 包含共 50 亿的图像-文本对儿，清洗后保留了 14 亿的数据，其中 77.3% 的英文数据和 22.7% 的中文数据

在这里插入图片描述