Qwen-VL本地化部署及微调实践_qwen-vl微调

创建虚拟环境

conda create -name vl python=3.10.8
1

模型部署

下载模型文件

https://huggingface.co/Qwen/Qwen-VL-Chat/tree/main
1

下载项目代码

https://github.com/QwenLM/Qwen-VL
1

安装python依赖环境

pip3 install -r requirements.txt
pip3 install -r requirements_openai_api.txt
pip3 install -r requirements_web_demo.txt
1
2
3

修改web_demo_mm.py及openai_api.py的部分代码

启动测试

web页面：

open_ai接口：

模型微调

环境部署

pip3 install deepspeed
pip3 install peft
pip3 install optimum
pip3 install auto-gptq
1
2
3
4

数据准备

创建一个json文件：

[
  {
    "id": "identity_0",
    "conversations": [
      {
        "from": "user",
        "value": "你好"
      },
      {
        "from": "assistant",
        "value": "我是Qwen-VL,一个支持视觉输入的大模型。"
      }
    ]
  },
  {
    "id": "identity_1",
    "conversations": [
      {
        "from": "user",
        "value": "Picture 1: <img>https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/demo.jpeg</img>\n图中的狗是什么品种？"
      },
      {
        "from": "assistant",
        "value": "图中是一只拉布拉多犬。"
      },
      {
        "from": "user",
        "value": "框出图中的格子衬衫"
      },
      {
        "from": "assistant",
        "value": "<ref>格子衬衫</ref><box>(588,499),(725,789)</box>"
      }
    ]
  },
  { 
    "id": "identity_2",
    "conversations": [
      {
        "from": "user",
        "value": "Picture 1: <img>assets/mm_tutorial/Chongqing.jpeg</img>\nPicture 2: <img>assets/mm_tutorial/Beijing.jpeg</img>\n图中都是哪"
      },
      {
        "from": "assistant",
        "value": "第一张图片是重庆的城市天际线，第二张图片是北京的天际线。"
      }
    ]
  },
  {
    "id": "identity_3",
    "conversations": [
      {
        "from": "user",
        "value": "Picture 1: <img>assets/mm_tutorial/gongren.png</img>\n解析图片中存在的问题，并返回相关的技术监督细则？"
      },
      {
        "from": "assistant",
        "value": "图片中存在以下问题：工人没有佩戴安全帽。地面上有大量的扬尘，可能对环境和工人的健康造成威胁。电线杆之间的距离过近，可能存在安全隐患。工人站在未铺设完成的路上，可能存在安全风险。相关的技术监督细则包括：《建筑施工安全检查标准》规定，工人进入施工现场时必须佩戴安全帽。《中华人民共和国大气污染防治法》规定，企业应当采取措施防治扬尘污染。《电力设施保护条例》规定，架空电力线路的杆塔、拉线不得跨越道路。《建筑施工安全操作规程》规定，工人应当在已经铺设完成的路上工作，避免站在未完成的路面上。"
      }
    ]
  }
]
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62

为针对多样的VL任务，提供特殊tokens： <img> </img> <ref> </ref> <box> </box>

对于带图像输入的内容可表示为 Picture id: <img>img_path</img>\n{your prompt}，其中id表示对话中的第几张图片。"img_path"可以是本地的图片或网络地址。

对话中的检测框可以表示为<box>(x1,y1),(x2,y2)</box>，其中 (x1, y1) 和(x2, y2)分别对应左上角和右下角的坐标，并且被归一化到[0, 1000)的范围内. 检测框对应的文本描述也可以通过<ref>text_caption</ref>表示。

微调

我这里因为资源有限，选择的QLora形式。修改finetune/finetune_qlora_single_gpu.sh中的一些设置，其中主要修改标红部分&#x