chatglm3微调以及加速_swift 微调合并

本文是对chatglm3进行微调，并对微调过后的模型进行加速

一、chatglm3 微调

微调方法参见 https://github.com/THUDM/ChatGLM3/tree/main/finetune_demo，参考官方文档问题应该不大

二、合并微调模型

本部分是把基础模型与微调的权重进行合并。
直接使用lora合并方法即可

merge_model.py

from pathlib import Path
from typing import Annotated, Union

import typer
from peft import AutoPeftModelForCausalLM, PeftModelForCausalLM
from transformers import (
    AutoModelForCausalLM,
  
1
2
3
4
5
6
7