【中文视觉语言模型+本地部署 】23.08 阿里Qwen-VL：能对图片理解、定位物体、读取文字的视觉语言模型 (推理最低12G显存+)_qwen-vl ocr

项目主页：https://github.com/QwenLM/Qwen-VL
通义前问网页在线使用——（文本问答，图片理解，文档解析）：https://tongyi.aliyun.com/qianwen/
论文v3. : 一个全能的视觉语言模型
23.10 Qwen-VL: A Versatile Vision-Language Model for Understanding, Localization, Text Reading, and Beyond

Qwen-VL-Chat 部分示例：支持多个图像输入、多轮对话、文本阅读、定位、细粒度识别和理解能力

一、Qwen-VL简介

Qwen-VL 是阿里基于语言模型Qwen-7B(LLMs)，研发的大规模视觉语言模型（Large Vision Language Model, LVLM）

Qwen-VL = 大语言模型(Qwen-7B) + 视觉图片特征编码器（Openclip’s ViT-bigG） + 位置感知视觉语言适配器（可训练Adapter）+约15亿训练数据+多轮训练

功能上：

1. 支持多语言，特别是中英文对话
2. 支持多个图像输入
3. 中英双语的长文本识别
4. 对图片中物体定位 ：能够确定与给定描述相对应的具体区域（也称 grounding）
5. 相对其他视觉模型，进行对图片更多细节识别和理解

二、本地部署

下载项目到本地，也可手动下载

git clone https://github.com/QwenLM/Qwen-VL.git
1

2.1 基础环境安装

根据自己显卡驱动，在pytorch官方选择对应的版本: https://pytorch.org/get-started/previous-versions/

conda create -n  qwen-vl  python=3.10  -y

conda activate qwen-vl
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=11.8 -c pytorch -c nvidia
1
2
3
4

2.1.1 其他依赖

conda activate qwen-vl
cd Qwen-VL
pip install -r  requirements.txt
1
2
3
4

2.1.2 使用modelscope模型

https://modelscope.cn/models/qwen/Qwen-VL-Chat/summary

pip install modelscope -U
1

2.2 实际测试 （运行后自动下载模型）

启动命令 --server-name 0.0.0.0 表示可局域网访问，输入ip

python web_demo_mm.py --server-name 0.0.0.0
1

2.2.1 下载模型界面 （约20G）

2.2.2 启动测试界面

2.2.3 实测，对图表理解并求和

求和上传图中某一列。

三、如何训练？

阶段一：普通预训练 （pretraining）
14亿大规模、弱标记、网络爬取的图像-文本对（其中3.18亿**中文**文本）

阶段二： 多任务任务微调 （得到Qwen-VL）
约1亿数据，7大任务，图片题词，视觉问答，位置标注、OCR等任务

阶段三： 指令微调（增强对话能力） （训练后得到Qwen-VL-Chat）
将简单的文本图像对，通过手动注释、模型生成和策略串联构建**35W**对话数据。
训练过程中混合了多模态和纯文本对话数据，以确保模型在对话能力方面的通用性

预训练阶段（Pre-training）

数据集从50亿数据中清洗得到14亿数据，其中中文约22.7%，3亿左右

数据集清理标注

1. 删除纵横比过大的对
2. 删除图像太小的对
3. 删除剪辑分数过苛刻的对（特定于数据集）
4. 删除包含非英语或非汉字的文本对
5. 删除包含表情符号字符的文本对
6. 删除文本长度过短或太长的对
7. 清理文本的 HTML 标记部分
8. 用某些不规则模式清理文本

多任务预训练 （Multi-task Pre-training）

约1亿数据，7大任务，图片题词，视觉问答，位置标注、OCR等任务

训练数据格式 （Data Format of Multi-Task Pre-training）

训练时，黑色文本作为前缀序列，没有损失，蓝色文本作为带有损失的地面真实标签。

指令微调

训练数据格式

为了更好地适应多图像对话和多个图像输入，我们在不同的图像之前添加了字符串“Picture id:”，其中 id 对应于图像输入对话的顺序。在对话格式方面，我们使用 ChatML (Openai) 格式构建我们的指令调优数据集，其中每个交互的语句都标有两个特殊标记（<im_start> 和<im_end>）以促进对话终止。

附录

有哪些版本？（商业版本）