浅谈大模型领域内数据微调的一些个人理解_为什么sft之后感觉llm傻了

近期由于连续做了两个大模型相关的项目尝试，发现一些现象，在查阅了多篇论文及圈内大佬的点评之后，个人对大模型领域内数据微调有了更深入的理解，今天简单交流下，个人的一些理解，欢迎资深大佬对其中的不足之处给与指正：

问题1：为什么SFT之后感觉LLM傻了?

在进⾏Supervised Fine-Tuning（SFT）之后，有时可能会观察到基座模型（如语⾔模型）的性能下降或产⽣⼀些“傻”的⾏为。

这可能是由于以下原因：

1. 数据偏移：SFT过程中使⽤的微调数据集可能与基座模型在预训练阶段接触到的数据分布有所不同。如果微调数据集与预训练数据集之间存在显著的差异，模型可能会在新任务上表现较差。这种数据偏移可能导致模型在新任务上出现错误的预测或不准确的输出。
2. ⾮典型标注：微调数据集的标注可能存在错误或不准确的标签。这些错误的标签可能会对模型的性能产⽣负⾯影响，导致模型产⽣“傻”的⾏为。
3. 过拟合：如果微调数据集相对较⼩，或者模型的容量（参数数量）较⼤，模型可能会过拟合微调数据，导致在新的输⼊上表现不佳。过拟合可能导致模型过于依赖微调数据的特定样本，⽽⽆法泛化到更⼴泛的输⼊。
4. 缺乏多样性：微调数据集可能缺乏多样性，未能涵盖模型在新任务上可能遇到的各种输⼊情况。这可能导致模型在⾯对新的、与微调数据集不同的输⼊时出现困惑或错误的预测。

问题2：进⾏SFT操作的时候，基座模型选⽤Chat还是Base?

问题由来：近期有两个小伙伴私信提出的问题；

在此特别说明：
在进⾏Supervised Fine-Tuning（SFT）操作时，基座模型的选择也可以根据具体情况来决定。与之前的SFT操作不同，这次的⽬标是在特定的监督任务上进⾏微调，因此选择基座模型时需要考虑任务的性质和数据集的特点。
如果监督任务是对话⽣成相关的，⽐如⽣成对话回复或对话情感分类等，那么选择ChatGPT模型作为基座模型可能更合适。ChatGPT模型在对话⽣成任务上进⾏了专⻔的优化和训练，具有更好的对话交互能⼒。
然⽽，如果监督任务是单轮⽂本⽣成或⾮对话⽣成任务，那么选择Base GPT模型作为基座模型可能更合适。BaseGPT模型在单轮⽂本⽣成和⾮对话⽣成任务上表现良好，可以提供更准确的⽂本⽣成能⼒。
1
2
3
4
5
6

问题3：微调后的模型出现能⼒劣化，灾难性遗忘是怎么回事？

灾难性遗忘（Catastrophic Forgetting）是指在模型微调过程中，当模型在新任务上进⾏训练时，可能会忘记之前
学习到的知识，导致在旧任务上的性能下降。这种现象常⻅于神经⽹络模型的迁移学习或连续学习场景中。

在微调⼤语⾔模型时，灾难性遗忘可能出现的原因包括：
1. 数据分布差异：微调过程中使⽤的新任务数据与预训练数据或旧任务数据的分布存在差异。如果新任务的数据
分布与预训练数据差异较⼤，模型可能会过度调整以适应新任务，导致旧任务上的性能下降。
2. 参数更新冲突：微调过程中，对新任务进⾏训练时，模型参数可能会被更新，导致之前学习到的知识被覆盖或
丢失。新任务的梯度更新可能会与旧任务的梯度更新发⽣冲突，导致旧任务的知识被遗忘。

为了解决灾难性遗忘问题，可以尝试以下⽅法：
1. 经验回放（Replay Buffer）：在微调过程中，使⽤⼀个缓冲区来存储旧任务的样本，然后将旧任务的样本与
新任务的样本⼀起⽤于训练。这样可以保留旧任务的知识，减少灾难性遗忘的发⽣。
2. 弹性权重共享（Elastic Weight Consolidation）：通过引⼊正则化项，限制模型参数的变动范围，以保护
之前学习到的知识。这种⽅法可以在微调过程中平衡新任务和旧任务之间的重要性。
3. 增量学习（Incremental Learning）：将微调过程分为多个阶段，每个阶段只微调⼀⼩部分参数。这样可以
逐步引⼊新任务，减少参数更新的冲突，降低灾难性遗忘的⻛险。
4. 多任务学习（Multi-Task Learning）：在微调过程中，同时训练多个相关任务，以提⾼模型的泛化能⼒和抗
遗忘能⼒。通过共享模型参数，可以在不同任务之间传递知识，减少灾难性遗忘的影响。
综上所述，灾难性遗忘是在模型微调过程中可能出现的问题。通过合适的⽅法和技术，可以减少灾难性遗忘的发
⽣，保留之前学习到的知识，提⾼模型的整体性能。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

问题4：领域模型微调 指令 & 数据输⼊格式 要求？

领域模型微调是指使⽤预训练的通⽤语⾔模型（如BERT、GPT等）对特定领域的数据进⾏微调，以适应该领域的任
务需求。以下是领域模型微调的指令和数据输⼊格式的要求：
指令：
1. 定义任务：明确所需的任务类型，如⽂本分类、命名实体识别、情感分析等。
2. 选择预训练模型：根据任务需求选择适合的预训练模型，如BERT、GPT等。
3. 准备微调数据：收集和标注与领域任务相关的数据，确保数据集具有代表性和多样性。
4. 数据预处理：根据任务的要求，对数据进⾏预处理，例如分词、去除停⽤词、词⼲化等。
5. 划分数据集：将数据集划分为训练集、验证集和测试集，⽤于模型的训练、验证和评估。
6. 模型微调：使⽤预训练模型和微调数据对模型进⾏微调，调整超参数并进⾏训练。
7. 模型评估：使⽤测试集评估微调后的模型的性能，计算适当的评估指标，如准确率、召回率等。
8. 模型应⽤：将微调后的模型应⽤于实际任务，在新的输⼊上进⾏预测或⽣成。
数据输⼊格式要求：
1. 输⼊数据应以⽂本形式提供，每个样本对应⼀⾏。
2. 对于分类任务，每个样本应包含⽂本和标签，可以使⽤制表符或逗号将⽂本和标签分隔开。
3. 对于⽣成任务，每个样本只需包含⽂本即可。
4. 对于序列标注任务，每个样本应包含⽂本和对应的标签序列，可以使⽤制表符或逗号将⽂本和标签序列分隔
开。
5. 数据集应以常⻅的⽂件格式（如⽂本⽂件、CSV⽂件、JSON⽂件等）保存，并确保数据的格式与模型输⼊的
要求⼀致。
根据具体的任务和模型要求，数据输⼊格式可能会有所不同。在进⾏领域模型微调之前，建议仔细阅读所使⽤模型
的⽂档和示例代码，以了解其具体的数据输⼊格式要求。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

问题5：领域模型微调 领域评测集 构建？

构建领域评测集的过程可以参考以下步骤：
1. 收集数据：⾸先需要收集与⽬标领域相关的数据。这可以包括从互联⽹上爬取⽂本数据、使⽤已有的公开数据
集或者通过与领域专家合作来获取数据。确保数据集具有代表性和多样性，能够涵盖领域中的各种情况和语
境。
2. 标注数据：对收集到的数据进⾏标注，以便⽤于评测模型的性能。标注可以根据任务类型来进⾏，如⽂本分
类、命名实体识别、关系抽取等。标注过程可以由⼈⼯标注或者使⽤⾃动化⼯具进⾏，具体取决于数据集的规
模和可⾏性。
3. 划分数据集：将标注好的数据集划分为训练集、验证集和测试集。通常，训练集⽤于模型的训练，验证集⽤于
调整超参数和模型选择，测试集⽤于最终评估模型的性能。划分数据集时要确保每个集合中的样本都具有代表
性和多样性。
4. 设计评测指标：根据任务类型和领域需求，选择合适的评测指标来评估模型的性能。例如，对于⽂本分类任
务，可以使⽤准确率、召回率、F1值等指标来衡量模型的分类性能。
5. 进⾏评测：使⽤构建好的评测集对微调后的模型进⾏评测。将评测集输⼊模型，获取模型的预测结果，并与标
注结果进⾏⽐较，计算评测指标。
6. 分析和改进：根据评测结果，分析模型在不同⽅⾯的表现，并根据需要进⾏模型的改进和调整。可以尝试不同
的超参数设置、模型架构或优化算法，以提⾼模型的性能。
重复以上步骤，不断优化模型，直到达到满意的评测结果为⽌。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

问题6：领域模型词表扩增是不是有必要的？

领域模型的词表扩增可以有助于提升模型在特定领域任务上的性能，但是否有必要取决于具体的情况。以下是⼀些
考虑因素：
1. 领域特定词汇：如果⽬标领域中存在⼀些特定的词汇或术语，⽽这些词汇在通⽤的预训练模型的词表中没有覆
盖到，那么词表扩增就是必要的。通过将这些领域特定的词汇添加到模型的词表中，可以使模型更好地理解和
处理这些特定的词汇。
2. 领域特定上下⽂：在某些领域任务中，词汇的含义可能会受到特定上下⽂的影响。例如，在医学领域中，同⼀
个词汇在不同的上下⽂中可能具有不同的含义。如果领域任务中的上下⽂与通⽤预训练模型的训练数据中的上
下⽂有较⼤差异，那么词表扩增可以帮助模型更好地理解和处理领域特定的上下⽂。
3. 数据稀缺性：如果⽬标领域的训练数据相对较少，⽽通⽤预训练模型的词表较⼤，那么词表扩增可以帮助模型
更好地利⽤预训练模型的知识，并提升在⽬标领域任务上的性能。
需要注意的是，词表扩增可能会增加模型的计算和存储成本。因此，在决定是否进⾏词表扩增时，需要综合考虑领
域特定词汇的重要性、数据稀缺性以及计算资源的限制等因素。有时候，简单的词表截断或者使⽤基于规则的⽅法
来处理领域特定词汇也可以取得不错的效果。最佳的词表扩增策略会因特定任务和领域的需求⽽有所不同，建议根
据具体情况进⾏评估和实验
1
2
3
4
5
6
7
8
9
10
11
12
13
14

问题7：指令微调的好处？

指令微调（Instruction Fine-Tuning）是⼀种在预训练模型上进⾏微调的⽅法，其中模型接收指令或约束来⽣成特
定的输出。指令微调具有以下⼏个好处：
1. 控制⽣成输出：指令微调使得模型能够根据指定的指令或约束⽣成特定的输出。这对于需要精确控制模型⽣成
结果的任务⾮常有⽤，例如⾃然语⾔⽣成任务中的⽂本摘要、翻译或对话系统。
2. 可解释性和可控性：通过指令微调，可以将任务的要求以指令的形式传达给模型。这增加了模型的可解释性和
可控性，使得⽤户能够更好地理解和⼲预模型的⽣成过程。
3. 避免不符合要求的输出：通过指令微调，可以避免模型⽣成不符合任务要求或偏离期望的输出。通过明确的指
令或约束，模型能够更好地遵循任务的要求，并⽣成符合期望的结果。
4. 提⾼任务性能：指令微调可以针对具体任务进⾏优化，使得模型在该任务上的性能得到提升。通过引⼊任务特
定的指令或约束，模型可以更好地适应特定任务的需求，并⽣成更准确、更合理的输出。
5. 灵活性和可扩展性：指令微调是⼀种灵活且可扩展的⽅法，允许在不同任务和场景中进⾏微调。通过调整和修
改指令或约束，可以适应不同的任务需求，并在多个任务上进⾏微调。
请注意，指令微调需要提供明确的指令或约束，并对模型进⾏适当的调整和微调。在实践中，需要根据具体任务和
应⽤场景来决定是否采⽤指令微调以及如何设计和实施指令。
1
2
3
4
5
6
7
8
9
10
11
12
13
14

问题8: 预训练和微调哪个阶段注⼊知识的？

预训练和微调两个阶段都可以注⼊知识，但它们注⼊知识的⽅式和范围略有不同。
在预训练阶段，模型通过⼤规模的未标注数据进⾏训练，从中学习语⾔的统计特征、语义知识和语⾔规律。预训练的⽬的是让模型建⽴起对语⾔的基本理解和概念，并学习到⼀般性的语⾔表示。这种预训练过程注⼊了通⽤的语⾔知识，并可以迁移到各种下游任务中。 
 
在微调阶段，预训练的模型通过在特定任务上使⽤带标注的数据进⾏微调，以适应具体任务的要求。在微调过程
中，模型通过接触任务特定的数据和标签，进⼀步调整和优化模型的参数，使其更好地适应任务的特定特征和要
求。微调阶段注⼊的是与任务相关的知识和信息。

综上所述，预训练阶段主要注⼊通⽤的语⾔知识和表示能⼒，⽽微调阶段则注⼊与任务相关的知识和特定要求。预
训练阶段使得模型具备了⼀定的语⾔理解能⼒，⽽微调阶段则将这种能⼒与具体任务相结合，使模型在任务上表现
更好。预训练和微调两个阶段的结合，可以有效地提⾼模型的性能和泛化能⼒。
1
2
3
4
5
6
7
8
9
10

问题9：想让模型学习某个领域或⾏业的知识，是应该预训练还是应该微调？

如果你想让模型学习某个特定领域或⾏业的知识，⼀般建议使⽤微调（Fine-tuning） 的⽅法。

预训练模型通常是在⼤规模通⽤数据上进⾏预训练，以学习通⽤的语⾔知识和表示能⼒。虽然预训练模型可以在各
种任务上表现出⾊，但它们的训练并未针对特定领域或⾏业进⾏优化。因此，如果希望模型具备特定领域的专业知
识，微调是更合适的选择。

在微调阶段，可以使⽤特定领域的数据来微调预训练模型，使其适应该领域的任务和语境。通过在特定领域的数据
集上进⾏微调，模型可以学习到该领域的专业术语、实体关系、特定语义和上下⽂等。微调过程可以使模型更好地
理解和处理与特定领域相关的⽂本数据，从⽽提⾼模型在该领域任务上的性能。

需要注意的是，微调需要在预训练模型的基础上进⾏，因此你需要⾸先选择适合你任务的预训练模型，如BERT、
GPT等，然后使⽤特定领域的数据进⾏微调。微调过程中，可以根据任务需求和数据情况，调整微调的超参数，如
学习率、微调步数等
1
2
3
4
5
6
7
8
9
10
11
12
13

问题10：多轮对话任务如何微调模型？

在多轮对话任务中，微调模型的⽬标是使其能够更好地理解和⽣成连续的对话内容，并具备上下⽂理解和⼀致性回
复的能⼒。下⾯是⼀种常⻅的微调模型的⽅法：
1. 数据准备：收集或创建适⽤于多轮对话任务的数据集，包括对话⽂本和相应的标签或回复。确保数据集中包含
上下⽂信息和对话的连续性。
2. 构建输⼊输出格式：将对话数据转换为适合模型输⼊的格式。通常情况下，输⼊可以是包含多个对话轮次的上
下⽂⽂本，输出可以是下⼀轮对话的回复或标签。
3. 模型选择：选择适合多轮对话任务的预训练模型，如DialoGPT、BERT等。这些模型已经在⼤规模对话数据上
进⾏了预训练，并具备⼀定的对话理解和⽣成能⼒。
4. 微调模型：使⽤多轮对话数据集对预训练模型进⾏微调。微调的过程通常包括以下步骤：
    1. 初始化模型参数：将预训练模型的参数加载到模型中。
    2. 定义损失函数：根据任务要求，定义适当的损失函数，如交叉熵损失函数或⽣成模型中的对抗损失函
数。
    3. 进⾏反向传播和参数更新：根据损失函数，通过反向传播算法计算梯度，并更新模型参数。
    4. 重复训练步骤：重复进⾏微调步骤，直到模型在验证集上达到满意的性能。
5. 超参数调优：根据任务需求和数据情况，调整微调过程中的超参数，如学习率、批⼤⼩、微调步数等。可以使
⽤验证集来评估模型性能并选择最佳的超参数配置。
6. 评估和测试：使⽤测试集对微调后的模型进⾏评估和测试，评估模型在多轮对话任务上的性能和表现。
需要注意的是，微调多轮对话模型时，除了常规的微调⽅法，还可以采⽤⼀些特定的技巧，如引⼊对话历史的注意
⼒机制、使⽤特定的对话策略进⾏训练等，以进⼀步提升模型在多轮对话任务中的性能。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

问题11：预训练和SFT操作有什么不同？

⼤语⾔模型的预训练和有监督微调（Supervised Fine-Tuning）是两个不同的操作，它们在⽬标、数据和训练⽅式
等⽅⾯存在⼀些区别。

⽬标：
   预训练的⽬标是通过⽆监督学习从⼤规模的⽂本语料库中学习语⾔模型的表示能⼒和语⾔知识。预训练的⽬标
通常是通过⾃我预测任务，例如掩码语⾔模型（Masked Language Model，MLM）或下⼀句预测（Next
Sentence Prediction，NSP）等，来训练模型。
   有监督微调的⽬标是在特定的任务上进⾏训练，例如⽂本分类、命名实体识别等。在有监督微调中，模型会利
⽤预训练阶段学到的语⾔表示和知识，通过有监督的⽅式调整模型参数，以适应特定任务的要求。

数据：
   在预训练阶段，⼤语⾔模型通常使⽤⼤规模的⽆标签⽂本数据进⾏训练，例如维基百科、⽹⻚⽂本等。这些数
据没有特定的标签或任务信息，模型通过⾃我预测任务来学习语⾔模型。
   在有监督微调中，模型需要使⽤带有标签的任务相关数据进⾏训练。这些数据通常是⼈⼯标注的，包含了输⼊
⽂本和对应的标签或⽬标。模型通过这些标签来进⾏有监督学习，调整参数以适应特定任务。

训练⽅式：
   预训练阶段通常使⽤⽆监督的⽅式进⾏训练，模型通过最⼤化预训练任务的⽬标函数来学习语⾔模型的表示能
⼒。
   有监督微调阶段则使⽤有监督的⽅式进⾏训练，模型通过最⼩化损失函数来学习任务相关的特征和模式。在微
调阶段，通常会使⽤预训练模型的参数作为初始参数，并在任务相关的数据上进⾏训练。

总的来说，预训练和有监督微调是⼤语⾔模型训练的两个阶段，⽬标、数据和训练⽅式等⽅⾯存在差异。预训练阶
段通过⽆监督学习从⼤规模⽂本数据中学习语⾔模型，⽽有监督微调阶段则在特定任务上使⽤带有标签的数据进⾏
有监督学习，以适应任务要求。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

问题12：样本量规模增⼤，训练出现OOM？

当在⼤语⾔模型训练过程中，样本量规模增⼤导致内存不⾜的情况出现时，可以考虑以下⼏种解决⽅案：
1. 减少批量⼤⼩（Batch Size）：将批量⼤⼩减⼩可以减少每个训练步骤中所需的内存量。较⼩的批量⼤⼩可
能会导致训练过程中的梯度估计不稳定，但可以通过增加训练步骤的数量来弥补这⼀问题。
2. 分布式训练：使⽤多台机器或多个GPU进⾏分布式训练可以将训练负载分散到多个设备上，从⽽减少单个设
备上的内存需求。通过分布式训练，可以将模型参数和梯度在多个设备之间进⾏同步和更新。
3. 内存优化技术：使⽤⼀些内存优化技术可以减少模型训练过程中的内存占⽤。例如，使⽤**混合精度训练
（Mixed Precision Training）可以减少模型参数的内存占⽤；使⽤梯度累积（Gradient Accumulation）**
可以减少每个训练步骤中的内存需求。
4. 减少模型规模：如果内存问题仍然存在，可以考虑减少模型的规模，例如减少模型的层数、隐藏单元的数量
等。虽然这可能会导致模型性能的⼀定损失，但可以在⼀定程度上减少内存需求。
5. 增加硬件资源：如果条件允许，可以考虑增加硬件资源，例如增加内存容量或使⽤更⾼内存的设备。这样可以
提供更多的内存空间来容纳更⼤规模的训练数据。
6. 数据处理和加载优化：优化数据处理和加载过程可以减少训练过程中的内存占⽤。例如，可以使⽤数据流⽔线
技术来并⾏加载和处理数据，减少内存中同时存在的数据量。
综上所述，当在⼤语⾔模型训练中遇到内存不⾜的问题时，可以通过减⼩批量⼤⼩、分布式训练、内存优化技术、
减少模型规模、增加硬件资源或优化数据处理等⽅式来解决。具体的解决⽅案需要根据具体情况进⾏选择和调整。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

问题13：⼤模型LLM进⾏SFT 如何对样本进⾏优化？

对于⼤语⾔模型进⾏有监督微调（Supervised Fine-Tuning）时，可以采⽤以下⼏种⽅式对样本进⾏优化：
1. 数据清洗和预处理：对于有监督微调的任务，⾸先需要对样本数据进⾏清洗和预处理。这包括去除噪声、处理
缺失值、进⾏标准化或归⼀化等操作，以确保数据的质量和⼀致性。
2. 数据增强：通过数据增强技术可以扩充训练数据，增加样本的多样性和数量。例如，可以使⽤数据扩充⽅法如
随机裁剪、旋转、翻转、加噪声等来⽣成新的训练样本，从⽽提⾼模型的泛化能⼒。
3. 标签平衡：如果样本标签不平衡，即某些类别的样本数量远远多于其他类别，可以采取⼀些⽅法来平衡样本标
签。例如，可以通过⽋采样、过采样或⽣成合成样本等技术来平衡不同类别的样本数量。
4. 样本选择：在有限的资源和时间下，可以选择⼀部分具有代表性的样本进⾏微调训练。可以根据任务的需求和
数据分布的特点，选择⼀些关键样本或难样本进⾏训练，以提⾼模型在关键样本上的性能。
5. 样本权重：对于⼀些重要的样本或困难样本，可以给予更⾼的权重，以便模型更加关注这些样本的学习。可以
通过调整损失函数中样本的权重或采⽤加权采样的⽅式来实现。
6. 样本组合和分割：根据任务的特点和数据的结构，可以将多个样本组合成⼀个样本，或将⼀个样本分割成多个
⼦样本。这样可以扩展训练数据，提供更多的信息和多样性。
7. 样本筛选和策略：根据任务需求，可以制定⼀些样本筛选和选择策略。例如，可以根据样本的置信度、难度、
多样性等指标进⾏筛选和选择，以提⾼模型的性能和泛化能⼒。

总的来说，对⼤语⾔模型进⾏有监督微调时，可以通过数据清洗和预处理、数据增强、标签平衡、样本选择、样本
权重、样本组合和分割、样本筛选和策略等⽅式对样本进⾏优化。这些优化⽅法可以提⾼训练样本的质量、多样性
和数量，从⽽提升模型的性能和泛化能⼒。具体的优化策略需要根据任务需求和数据特点进⾏选择和调整。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

问题14：SFT 指令微调数据 如何构建?

构建Supervised Fine-Tuning（SFT）的微调数据需要以下步骤：
1. 收集原始数据：⾸先，您需要收集与⽬标任务相关的原始数据。这可以是对话数据、分类数据、⽣成任务数据
等，具体取决于您的任务类型。确保数据集具有代表性和多样性，以提⾼模型的泛化能⼒。
2. 标注数据：对原始数据进⾏标注，为每个样本提供正确的标签或⽬标输出。标签的类型取决于您的任务，可以
是分类标签、⽣成⽂本、对话回复等。确保标注的准确性和⼀致性。
3. 数据预处理：根据任务的要求，对数据进⾏预处理。这可能包括⽂本清洗、分词、去除停⽤词、词⼲化等处理
步骤。确保数据格式和特征表示适合模型的输⼊要求。
4. 划分数据集：将标注数据划分为训练集、验证集和测试集。通常，⼤部分数据⽤于训练，⼀⼩部分⽤于验证模
型的性能和调整超参数，最后⼀部分⽤于最终评估模型的泛化能⼒。
5. 格式转换：将数据转换为适合模型训练的格式。这可能涉及将数据转换为⽂本⽂件、JSON格式或其他适合模
型输⼊的格式。
6. 模型微调：使⽤转换后的数据对基座模型进⾏微调。根据任务的要求，选择适当的微调⽅法和超参数进⾏训
练。这可以使⽤常⻅的深度学习框架（如PyTorch、TensorFlow）来实现。
7. 模型评估：使⽤测试集对微调后的模型进⾏评估，计算模型在任务上的性能指标，如准确率、召回率、⽣成质
量等。根据评估结果对模型进⾏进⼀步的优化和调整。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

问题15：领域模型Continue PreTrain 数据选取？

在领域模型的Continue PreTrain过程中，数据选取是⼀个关键的步骤。以下是⼀些常⻅的数据选取⽅法：
1. 领域相关数据：⾸先，可以收集与⽬标领域相关的数据。这些数据可以是从互联⽹上爬取的、来⾃特定领域的
⽂档或者公司内部的数据等。这样的数据可以提供领域相关的语⾔和知识，有助于模型在特定领域上的表现。
2. 领域专家标注：如果有领域专家可⽤，可以请他们对领域相关的数据进⾏标注。标注可以是分类、命名实体识
别、关系抽取等任务，这样可以提供有监督的数据⽤于模型的训练。
3. 伪标签：如果没有领域专家或者标注数据的成本较⾼，可以使⽤⼀些⾃动化的⽅法⽣成伪标签。例如，可以使
⽤预训练的模型对领域相关的数据进⾏预测，将预测结果作为伪标签，然后使⽤这些伪标签进⾏模型的训练。
4. 数据平衡：在进⾏数据选取时，需要注意数据的平衡性。如果某个类别的数据样本较少，可以考虑使⽤数据增
强技术或者对该类别进⾏过采样，以平衡各个类别的数据量。
5. 数据质量控制：在进⾏数据选取时，需要对数据的质量进⾏控制。可以使⽤⼀些质量评估指标，如数据的准确
性、⼀致性等，来筛选和过滤数据。
6. 数据预处理：在进⾏数据选取之前，可能需要对数据进⾏⼀些预处理，如分词、去除停⽤词、标准化等，以准
备好输⼊模型进⾏训练。
在数据选取过程中，需要根据具体任务和需求进⾏适当的调整和定制。选择合适的数据可以提⾼模型在特定领域上
的性能和泛化能⼒。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15