开源模型应用落地-qwen-7b-chat-LoRA微调（一）

一、前言

        预训练模型提供的是通用能力，对于某些特定领域的问题可能不够擅长，通过微调可以让模型更适应这些特定领域的需求，让它更擅长解决具体的问题。

二、术语介绍

2.1. LoRA微调

        LoRA (Low-Rank Adaptation) 用于微调大型语言模型 (LLM)。  是一种有效的自适应策略，它不会引入额外的推理延迟，并在保持模型质量的同时显着减少下游任务的可训练参数数量。

2.2. qwen-7b

    通义千问-7B（Qwen-7B） 是阿里云研发的通义千问大模型系列的70亿参数规模的模型。 

三、构建环境

3.1. 基础环境

1.  操作系统：centos7
2.  Tesla V100-SXM2-32GB  CUDA Version: 12.2

3.2.下载qwen-7b-chat模型

方式一：通过HuggingFace下载（需要搭梯子）

https://huggingface.co/Qwen/Qwen-7B-Chat/tree/main