QLoRA：量化 LLM 的高效微调

pip install -U -r requirements.txt

python qlora.py --model_name_or_path <path_or_name>

python qlora.py –learning_rate 0.0001 --model_name_or_path <path_or_name>

    model = AutoModelForCausalLM.from_pretrained(
        model_name_or_path='/name/or/path/to/your/model',
        load_in_4bit=True,
        device_map='auto',
        max_memory=max_memory,
        torch_dtype=torch.bfloat16,
        quantization_config=BitsAndBytesConfig(
            load_in_4bit=True,
            bnb_4bit_compute_dtype=torch.bfloat16,
            bnb_4bit_use_double_quant=True,
            bnb_4bit_quant_type='nf4'
        ),
    )

device_map = "auto"
max_memory = {i: '46000MB' for i in range(torch.cuda.device_count())}

@article{dettmers2023qlora,
  title={QLoRA: Efficient Finetuning of Quantized LLMs},
  author={Dettmers, Tim and Pagnoni, Artidoro and Holtzman, Ari and Zettlemoyer, Luke},
  journal={arXiv preprint arXiv:2305.14314},
  year={2023}
}

5月24日华盛顿大学的研究者发布了QLoRA技术及用其生成的Guanaco大模型。在Vicuna基准测试中表现优于所有先前公开发布的模型，达到ChatGPT性能水平的99.3%，仅需要单个GPU上的24小时微调时间。业界一片叫好。

参考及资源链接：

代码：https://github.com/artidoro/qlora

量化代码：GitHub - TimDettmers/bitsandbytes: 8-bit CUDA functions for PyTorch

PEFT: https://github.com/huggingface/peft

Transformer：https://github.com/huggingface/transformers/

模型：timdettmers (Tim Dettmers)

BLOG : Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA

论文：[2305.14314] QLoRA: Efficient Finetuning of Quantized LLMs (arxiv.org)

Demo环境：Guanaco Playground Tgi - a Hugging Face Space by uwnlp

Basic usage Google Colab notebook - This notebook shows how to use 4bit models in inference with all their variants, and how to run GPT-neo-X (a 20B parameter model) on a free Google Colab instance

Fine tuning Google Colab notebook - This notebook shows how to fine-tune a 4bit model on a downstream task using the Hugging Face ecosystem. We show that it is possible to fine tune GPT-neo-X 20B on a Google Colab instance!

Original repository for replicating the paper's results

Guanaco 33b playground

以下内容主要来自论文QLoRA: Efficient Finetuning of Quantized LLMs和其他资料。

摘要：

我们提出了一种高效的微调方法QLORA，可以在单个48GB GPU上减少内存使用量，同时保持完整的16位微调任务性能，从而对一个拥有65B参数的模型进行微调。QLORA通过将梯度反向传播到冻结的4位量化预训练语言模型中，进而传递到低秩适配器（LoRA）。我们的最佳模型系列被命名为Guanaco，在Vicuna基准测试中表现优于所有先前公开发布的模型，达到ChatGPT性能水平的99.3%，仅需要单个GPU上的24小时微调时间。QLORA引入了一些创新来节省内存而不牺牲性能：（a）4位NormalFloat（NF4），这是一种对于正态分布权重来说在信息论上是最优的数据类型；（b）双量化，通过量化量化常数来减少平均内存占用；以及（c）分页优化器，用于管理内存峰值。我们使用QLORA对1,000多个模型进行微调，并对8个指令数据集、多个模型类型（LLaMA、T5）和模型规模进行了详细的指令追踪和聊天机器人性能分析，这在常规微调中是不可行的（例如33B和65B参数模型）。我们的结果表明，QLoRA在一个小型高质量数据集上进行微调可以获得最先进的结果，即使使用的模型比先前的最优模型要小。我们基于人工和GPT-4评估对聊天机器人性能进行了详细分析，结果显示GPT-4评估是评估聊天机器人的廉价且合理的替代方法。此外，我们发现当前的聊天机器人基准测试不能准确评估聊天机器人的性能水平。通过一项详细的分析，我们展示了Guanaco与ChatGPT相比存在的失败之处。我们公开发布了我们的所有模型和代码，包括4位训练的CUDA核心。

1 引言

微调大型语言模型（LLMs）是提高它们性能的一种高效方法[40, 62, 43, 61, 59, 37]，也可以添加期望的行为或去除不可取的行为[43, 2, 4]。然而，对于非常大的模型，常规的16位微调是成本过高的；对LLaMA 65B参数模型[57]的常规16位微调需要超过780GB的GPU内存。尽管最近的量化方法可以减少LLMs的内存占用[14, 13, 18, 66]，但这些技术只适用于推理阶段，在训练阶段会失效[65]。

我们首次证明了可以在不降低性能的情况下微调量化的4位模型。我们的方法QLORA使用一种新的高精度技术将预训练模型量化为4位，然后通过反向传播梯度来调整量化权重集合中的一小组可学习低秩适配器权重[28]。

QLORA将微调65B参数模型的平均内存需求从>780GB的GPU内存降低到<48GB，与完全微调的16位基准相比，既不降低运行时间也不降低预测性能。这标志着LLM微调的可及性出现了重大变化：现在可以在单个GPU上微调迄今为止最大的公开可用模型。使用QLORA，我们训练了Guanaco模型系列，其中第二好的模型在Vicuna[10]基准测试上达到了ChatGPT性能水平的97.8%，而在单个消费级GPU上的微调时间不到12小时；在单个专业级GPU上的24小时内，我们的最大模型达到了99.3%，基本上缩小了与Vicuna基准测试上的ChatGPT之间的差距。在部署时，我们最小的Guanaco模型（7B参数）仅需要5GB内存，在Vicuna基准测试上比26GB的Alpaca模型高出20个百分点以上（表6）。

QLORA引入了多个创新，旨在减少内存使用而不牺牲性能：（1）4位NormalFloat，一种信息论上对于正态分布数据来说最优的量化数据类型，其实际结果比4位整数和4位浮点数更好。 （2）双量化（Double Quantization），一种量化量化常数的方法，平均每个参数节省约0.37位（65B模型约为3GB）。 （3）分页优化器（Paged Optimizers），使用NVIDIA统一内存来避免在处理具有长序列长度的小批量时出现的梯度检查点内存峰值。我们将这些贡献结合到更好调整的LoRA方法中，其中包括在每个网络层中使用适配器，从而避免了先前工作中出现的几乎所有精度权衡取舍（accuracy tradeoffs）的问题。

QLORA的高效性使我们能够对指令微调和聊天机器人性能进行深入研究，这在常规微调中由于内存开销是不可能的。因此，我们在几个指令微调数据集、模型架构和参数大小在80M到65B之间训练了1,000多个模型。除了展示QLORA恢复了16位性能（§4）和训练了最先进的聊天机器人Guanaco（§5），我们还分析了训练模型的趋势。首先，我们发现数据质量远比数据集大小更重要，例如，一个9k样本的数据集（OASST1）在聊天机器人性能上优于一个450k样本的数据集（FLAN v2，子采样），即使两者都旨在支持指令跟踪泛化。其次，我们显示了强大的Massive Multitask Language Understanding（MMLU）基准性能并不意味着强大的Vicuna聊天机器人基准性能，反之亦然，换句话说，对于给定任务，数据集的适用性比大小更重要。

此外，我们还对聊天机器人性能进行了详细分析，同时使用人工评估者和GPT-4进行评估。我们采用了锦标赛风格的基准测试，其中模型在比赛中互相竞争，为给定提示产生最佳回答。一场比赛的获胜者由GPT-4或人工注释员评判。锦标赛结果被汇总为Elo分数[16, 17]，确定聊天机器人性能的排名。我们发现，在锦标赛中，GPT-4和人工评估在模型性能的排名上基本一致，但我们也发现存在强烈分歧的情况。因此，我们强调基于模型的评估虽然提供了与人工注释相比的廉价替代方案，但也存在不确定性。

我们通过定性分析Guanaco模型来增强我们的聊天机器人基准测试结果。我们的分析突出了定量基准测试未能捕捉到的成功和失败案例。我们公开发布所有带有人工和GPT-4注释的模型，以促进进一步的研究。我们开源我们的代码库和CUDA核心，并将我们的方法整合到Hugging Face的transformers堆栈[64]中，使其易于访问。我们发布了7/13/33/65B大小模型的适配器集合，这些模型在8个不同的指令跟踪数据集上进行了训练，总共有32个不同的开源微调模型。