如何在自定义数据集上微调 InternVL-Chat-V1-2How to Fine-tune InternVL-Chat-V1-2 on a Custom Dataset_internvl 微调数据集准备

作者：神奇cpp | 2024-07-31 17:41:42

踩

internvl 微调数据集准备

如何在自定义数据集上微调 InternVL-Chat-V1-2

1.准备预训练模型

在开始第二次微调之前，请先下载我们提供的预训练模型。有两个版本可用：InternVL-Chat-V1-2和InternVL-Chat-V1-2-Plus。我们建议下载 Plus 版本。

使用以下命令下载所需的模型：

cd pretrained/
# pip install -U huggingface_hub
# Download OpenGVLab/InternVL-Chat-V1-2
huggingface-cli download --resume-download --local-dir-use-symlinks False OpenGVLab/InternVL-Chat-V1-2 --local-dir InternVL-Chat-V1-2
# Download OpenGVLab/InternVL-Chat-V1-2-Plus
huggingface-cli download --resume-download --local-dir-use-symlinks False OpenGVLab/InternVL-Chat-V1-2-Plus --local-dir InternVL-Chat-V1-2-Plus

2. 准备自定义训练数据

下载预训练模型后，准备自定义的 SFT（监督微调）数据。创建internvl_chat/shell/data/类似于此示例的JSON 文件。

JSON 文件的格式应为：

{
  "your-custom-dataset-1": {
    "root": "path/to/the/image/",
    "annotation": "path/to/the/jsonl/annotation",
    "data_augment": false,
    "repeat_time": 1,
    "length": "number of your data"
  },
  ...
}

例子：

{
  "sharegpt4v_instruct_gpt4-vision_cap100k": {
    "root": "playground/data/",
    "annotation": "playground/opensource/sharegpt4v_instruct_gpt4-vision_cap100k.jsonl",
    "data_augment": false,
    "repeat_time": 1,
    "length": 102025
  }
}

3. 开始微调

根据您可用的 GPU 资源，使用用于训练完整 LLM 的脚本或用于训练 LoRA 适配器的脚本对预训练模型进行微调。

在微调之前，请将设置--meta_path为上一步中创建的 JSON 文件的路径。这些 shell 脚本中默认的预训练模型路径是。如果您使用的是 Plus 版本，./pretrained/InternVL-Chat-V1-2请将其更新为。./pretrained/InternVL-Chat-V1-2-Plus

Note: Fine-tuning the full LLM requires 16 A100 80G GPUs, whereas fine-tuning the LoRA requires 2 A100 80G GPUs.

注意：微调完整的 LLM 需要 16 个 A100 80G GPU，而微调 LoRA 需要 2 个 A100 80G GPU。

微调命令：

# Using 16 GPUs with SLURM system, fine-tune the full LLM
PARTITION='your partition' GPUS=16 sh shell/hermes2_yi34b/internvl_chat_v1_2_hermes2_yi34b_448_res_finetune_continue.sh
# Using 2 GPUs, fine-tune the LoRA
CUDA_VISIBLE_DEVICES=0,1 sh shell/hermes2_yi34b/internvl_chat_v1_2_hermes2_yi34b_448_res_finetune_continue_lora.sh

如果您遇到任何问题，请告诉我，我会更新培训指南以增强其可用性。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/神奇cpp/article/detail/909981