Windows10上使用llama-recipes(LoRA)来对llama-2-7b做fine-tune

刚刚在Windows10上搭建环境来对llama2做finetune，里面坑还是挺多的，这里把印象中的坑整理了一下以作备忘。

llama-recipes是meta的开源项目，Github地址为：GitHub - facebookresearch/llama-recipes: Examples and recipes for Llama 2 model

llama2同样也是meta的开源LLM模型，因此用此项目做finetune应该是正确的方向；

模型的选择

模型在自然是在huggingface上下载到的，上面的模型很多，因此您也有很多选择。程序加载模型采用了torch因此需要选择带有pytorch-xxx.bin的目录。本人选择的是daryl149/llama-2-7b-chat-hf(daryl149/llama-2-7b-chat-hf · Hugging Face)

数据集选择

默认数据集是samsum_dataset；使用这个数据集的目标是为一段文字做总结。本人的模型微调目标是问答，所以使用了模型提到的另一个数据集：stanford的alpaca_dataset（文本数据21.7 MB）。

数据集请见：Stanford CRFM 

这里我是用项目自带的notebook “quickstart”来一步步执行的，所以我们需要在代码中对数据集进行调整

train_dataset = get_preprocessed_dataset(tokenizer, alpaca_dataset, 'train')

依赖包下载

依赖包下载比较麻烦，这里是坑最多的地方；国内的网速是一方面，类库对Windows系统的支持是另一方面。

国内镜像加速

很庆幸在互联网上找到了这个清华的源，在pip安装的时候可以加上参数：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn

torch的下载

我这边经过requirement下载的默认是CPU版本的（