RAG优化必备：如何微调自己的嵌入模型_rag如何微调向量模型

前言

在大模型时代中，嵌入（embedding）模型是非常重要且基础的能力，例如在RAG中，匹配问题和知识条文时，好的嵌入模型会让检索更精准。但是通用的嵌入模型，无论其宣传效果有多好，在自己的使用场景中往往会出现水土不服。所以，如何微调嵌入模型，使得匹配自己的业务场景使得尤为重要。本文介绍了使用Sentence Transformers框架对开源的嵌入模型进行微调，使用的Sentence Transformers版本为3.0.0版本。3版本相对2版本发生了重大改变，个人感觉最主要的变化是继承了transformers的很多能力，使得在多卡训练上更方便，这在动辄数百万级的训练样本情况下尤为重要。网上很多教程都是2版本的，在3版本上不适用，请注意。更多的内容请关注官方文档：https://sbert.net/

1.加载库

from datasets import load\_dataset  
from sentence\_transformers import (  
    SentenceTransformer,  
    SentenceTransformerTrainer,  
    SentenceTransformerTrainingArguments,  
    SentenceTransformerModelCardData,  
)  
from sentence\_transformers.losses import CoSENTLoss  
from sentence\_transformers.training\_args import BatchSamplers  
  
from sentence\_transformers.evaluation import BinaryClassificationEvaluator, EmbeddingSimilarityEvaluator, TripletEvaluator  
import pandas as pd
1
2
3
4
5
6
7
8
9
10
11
12

2.加载模型，设置损失函数

\# 模型地址：https://huggingface.co/BAAI/bge-small-en-v1.5  
model \= SentenceTransformer("models/bge-small-en-v1.5/")  
\# 根据不同的数据类型选择不同的损失函数，详见：https://sbert.net/docs/sentence\_transformer/loss\_overview.html?highlight=loss  
loss \= CoSENTLoss(model)
1
2
3
4

根据不同的数据类型选择不同的损失函数，详见：https://sbert.net/docs/sentence_transformer/loss_overview.html?highlight=loss

，本案例的场景可选用CoSENTLoss

3.读取数据

\# 数据集地址：https://huggingface.co/datasets/sentence-transformers/all-nli,请下载后再加载  
train\_path \= 'data/all-nli/pair-score/train-00000-of-00001.parquet'  
dev\_path \= 'data/all-nli/pair-score/dev-00000-of-00001.parquet'  
test\_path \= 'data/all-nli/pair-score/test-00000-of-00001.parquet'  
  
train\_dataset \= load\_dataset("parquet", data\_files\=train\_path)  
eval\_dataset \= load\_dataset("parquet", data\_files\=dev\_path)  
test\_dataset \= load\_dataset("parquet", data\_files\=test\_path)  
  
print(train\_dataset) \# train\_dataset\['train'\]\['premise'\]才是真正的样本
1
2
3
4
5
6
7
8
9
10

DatasetDict({  
    train: Dataset({  
        features: \['sentence1', 'sentence2', 'score'\],  
        num\_rows: 942069  
    })  
})
1
2
3
4
5
6

我们也可以读取成dataframe的形式，更方便观察数据

df \= pd.read\_parquet(train\_path)  
df
1
2

可以看见数据为三列的方式，前两列是句子，最后一列是两个句子的相似度评分。如果觉得评分太麻烦，最后一列也可以是0或1的label，但对应的代码需要修改。我们在制作训练集的时候，按照这三列的形式是更方便的。

4.设置训练参数

这里是继承了transformers的参数设置，运行的时候会默认机器的卡全部都用于训练。如果要指定某些卡进行训练，需要使用启动命令设置该环境变量，例如：CUDA_VISIBLE_DEVICES=“0” python main.py

args \= SentenceTransformerTrainingArguments(  
    \# 必须的参数:  
    output\_dir\="model\_save/pair-class",  
    \# 训练参数:  
    num\_train\_epochs\=1,  
    per\_device\_train\_batch\_size\=16,  
    per\_device\_eval\_batch\_size\=16,  
    learning\_rate\=2e-5,  
    warmup\_ratio\=0.1,  
    fp16\=True,    
    bf16\=False,    
    batch\_sampler\=BatchSamplers.NO\_DUPLICATES,  \# 确保同一批批训练样本中没有重复的样本  
    \# 验证/保存参数:  
    eval\_strategy\="steps",  
    eval\_steps\=100,  
    save\_strategy\="steps",  
    save\_steps\=100,  
    save\_total\_limit\=2,  
    logging\_steps\=100,  
    run\_name\="pair-score",  \# 设置好名称，可在\`wandb\`上记录  
)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

5.设置验证方式

• BinaryClassificationEvaluator用于分类标签，EmbeddingSimilarityEvaluator用于分数标签，TripletEvaluator用于句子-正例-负例

• 本案例适用EmbeddingSimilarityEvaluator

• 不同的验证方式对应的超参不同，具体参考：https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html?highlight=sentence_transformers%20evaluation

dev\_evaluator \= EmbeddingSimilarityEvaluator(  
    sentences1\=eval\_dataset\['train'\]\["sentence1"\],  
    sentences2\=eval\_dataset\['train'\]\["sentence2"\],  
    scores\=eval\_dataset\['train'\]\["score"\],  
    name\="pair-class-dev",  
)  
  
\# 训练前先测一下  
dev\_evaluator(model)
1
2
3
4
5
6
7
8
9

{'pair-class-dev\_pearson\_cosine': 0.5586668614994776,  
 'pair-class-dev\_spearman\_cosine': 0.5591719112836276,  
 'pair-class-dev\_pearson\_manhattan': 0.548648858854572,  
 'pair-class-dev\_spearman\_manhattan': 0.555145545980968,  
 'pair-class-dev\_pearson\_euclidean': 0.5517466850163146,  
 'pair-class-dev\_spearman\_euclidean': 0.5591718680615544,  
 'pair-class-dev\_pearson\_dot': 0.5586668602820397,  
 'pair-class-dev\_spearman\_dot': 0.5591718350908823,  
 'pair-class-dev\_pearson\_max': 0.5586668614994776,  
 'pair-class-dev\_spearman\_max': 0.5591719112836276}
1
2
3
4
5
6
7
8
9
10

以上指标都是衡量向量相似度的，等会训练几个周期，看看有没有提升

6.开始训练

trainer \= SentenceTransformerTrainer(  
    model\=model,  
    args\=args,  
    train\_dataset\=train\_dataset,  
    eval\_dataset\=eval\_dataset,  
    loss\=loss,  
    evaluator\=dev\_evaluator,  
)  
  
trainer.train()
1
2
3
4
5
6
7
8
9
10

这里只训练500步，可以看到评价指标是逐渐上升的，训练集的损失函数逐渐下降。验证集的损失函数显示No log，可能是验证方式的原因。

7.测试集效果

test\_evaluator \= EmbeddingSimilarityEvaluator(  
    sentences1\=test\_dataset\['train'\]\["sentence1"\],  
    sentences2\=test\_dataset\['train'\]\["sentence2"\],  
    scores\=test\_dataset\['train'\]\["score"\],  
    name\="pair-class-dev",  
)  
test\_evaluator(model)  
  
\# 保存最终模型  
model.save\_pretrained("model\_save/pair-class/final")
1
2
3
4
5
6
7
8
9
10

{'pair-class-dev\_pearson\_cosine': 0.6001533384580744,  
 'pair-class-dev\_spearman\_cosine': 0.6145674695662575,  
 'pair-class-dev\_pearson\_manhattan': 0.5995323301973094,  
 'pair-class-dev\_spearman\_manhattan': 0.6124315808477351,  
 'pair-class-dev\_pearson\_euclidean': 0.6013774845569113,  
 'pair-class-dev\_spearman\_euclidean': 0.6145674696825638,  
 'pair-class-dev\_pearson\_dot': 0.6001533367553711,  
 'pair-class-dev\_spearman\_dot': 0.6145674475881859,  
 'pair-class-dev\_pearson\_max': 0.6013774845569113,  
 'pair-class-dev\_spearman\_max': 0.6145674696825638}
1
2
3
4
5
6
7
8
9
10

可以看到，进行少量训练后，指标是有所提高的

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】