llama-factory/peft微调千问1.5-7b-chat

目标

使用COIG-CQIA数据集和通用sft数据集对qwen1.5-7b-chat进行sft微调，使用公开dpo数据集进行dpo对齐。学习千问的长度外推方法。

一、训练配置

使用Lora方式, 将lora改为full即可使用全量微调。
具体的参数在

该框架将各个参数、训练配置都封装好了，直接使用脚本，将数据按格式传入即可。
自定义数据集格式：https://github.com/hiyouga/LLaMA-Factory/blob/main/data/README_zh.md

二、sft微调

文本截断设置为2048，批次大小设置为1，梯度累积设为2，报OOM。
设置为1024，还是oom.
查阅发现7b的全量微调需要60G显存，因此采用lora方式重新微调。

运行截图

将batch_size设为3，梯度累积设为8步，因此每24步更新一次。

用了两个多小时，训练完成：

训练过程的loss，可以看到还是加epoch的，最后的的loss看着还有下降空间。

三、dpo微调

采用相同的配置，但是OOM。可能是因为一个样本里有两个output。
设置为1试试。成功
终于结束了，花了近3个小时，主要是批次为1，太慢了。

看验证集的损失函数曲线还是不错，训练趋于平稳了。

四、模型评测

大模型评测一直是个难题，模型能力一般可以分为通用能力和特色能力，评测方式可分为客观评测和主观评测。
例如千问1.5，就使用客观评测评估其通用能力。我们可以通过司南这个开源项目在本地评测。
CMMLU是一个综合性的中文评估基准，专门用于评估语言模型在中文语境下的知识和推理能力。

Question：同一物种的两类细胞各产生一种分泌蛋白，组成这两种蛋白质的各种氨基酸含量相同，但排列顺序不同。其原因是参与这两种蛋白质合成的：
A. tRNA种类不同
B. 同一密码子所决定的氨基酸不同
C. mRNA碱基序列不同
D. 核糖体成分不同
Answer：C
1
2
3
4
5
6

以该基准为例，评测也就是设置prompt引导模型给出对应的答案，回答应该是如C，C.核糖体成分不同等。但是大模型回复的不稳定性导致有可能是C，C核糖体不同，所以无法精准匹配，司南认为只要是符合人工评判标准的都算对，所以针对其回答做了后处理。

具体到该样本，其函数是：

@TEXT_POSTPROCESSORS.register_module('first-capital')
def first_capital_postprocess(text: str) -> str:
    for t in text:
        if t.isupper():
            return t
    return ''
1
2
3
4
5
6

也就是返回回复文本中的第一个大写字母。
对于多项选择的后处理是

@TEXT_POSTPROCESSORS.register_module('first-capital-multi')
def first_capital_postprocess_multi(text: str) -> str:
    match = re.search(r'([A-D]+)', text)
    if match:
        return match.group(1)
    return ''
1
2
3
4
5
6

返回文本中由 A 到 D 大写字母组成的字符串。
使用的评测指标是准确率，具体实现如下：

@ICL_EVALUATORS.register_module()
class AccEvaluator(HuggingfaceEvaluator):
    """Accuracy evaluator."""

    def __init__(self) -> None:
        super().__init__(metric='accuracy')

    def _preprocess(self, predictions: List, references: List) -> dict:
        """Preprocess the final predictions and references to needed format.

        Args:
            predictions (List): List of predictions of each sample.
            references (List): List of targets for each sample.

        Returns:
            dict: preprocessed results.
        """
        mapping_to_int_dict = {
   
            label: idx
            for idx, label in enumerate(set(map(str, references)))
        }
        pred_set = set(predictions)
        for pred in pred_set:
            if str(pred) not in mapping_to_int_dict.keys():
                mapping_to_int_dict[str(pred)] = len(mapping_to_int_dict)
        golds = [mapping_to_int_dict[str(gold)] for gold in references]
        preds = [mapping_to_int_dict[str(pred)] for pred in predictions]
        return {
   
            'predictions': preds,
            'references': golds,
        }

    def _postprocess(self, scores: dict) -> dict:
        """Postprocess for final scores.

        Args:
            scores (dict): Dict of calculated scores of metrics.

        Returns:
            dict: postprocessed scores.
        """
        scores['accuracy'] *= 100
        return scores
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45

AccEvaluator 类继承自 HuggingfaceEvaluator，通过预处理、评估、后处理的流程来评估模型的准确性。预处理将标签和预测转换为整数列表，并提供映射；后处理则将准确性转换为百分比。

实操

我们现在需要使用该评测基准评估我们sft和dpo微调后模型的性能，是损失了性能还是增长了。步骤如下：
1.安装司南：见https://github.com/open-compass/opencompass
2.下载数据集到本地，也可以使用hf线上实时下载

3.新建sh文件编写评测配置，可以命名为run.sh等
4.如果不想编写sh文件，也可以新建一个Python文件，把配置都写上去，自由度更高
我这里把文件都放在了另外的目录下，所以需要让sh和Python脚本知道所正确引用的文件路径

报错：

mmengine.config.utils.ConfigParsingError: datasets/mmlu/mmlu_gen.py not found! It means that incorrect module is defined in `with read_base(): = from .datasets.mmlu.mmlu_gen import .