提高自定义词汇表上的 RAG 性能_bm25 自定义词库

原文地址：improve-rag-performance-on-custom-vocabulary

Code：Improve RAG performance on custom vocabulary.ipynb

2024 年 2 月 9 日

糟糕的检索系统会导致混乱、沮丧和幻觉。

新的嵌入模型比以往更加强大。我们根据 MTEB 等基准对其进行了全面评估。但是，当我们的自定义数据包含一些网上找不到的单词（如内部产品名称和 ID）时，为什么这些模型仍然会惨遭失败呢？在本文中，我们将找出确切原因并提出多种解决方案。

简要说明

当引入自定义词汇或术语，或者使用了较差的分块策略或数据建模时，开箱即用的语义搜索模型就会失效。可以利用关键词搜索、查询扩展或使用 Reciprocal Rank Fusion（RRF）进行动态权重调整，以减少自定义词汇造成的错误。微调嵌入模型需要仔细的数据收集和设计，只有在应用了前面提到的方法后才能进行实验。

改进检索的十亿美元动力

Microsoft 365 的 Copilot 就是一个成功的 RAG 应用程序范例。Copilot 正在利用 RAG 模式，重点强调 R(etrieval)。真正的核心工作是数据建模和检索，Microsoft Graph 已经构建了8年之久。

Microsoft 365的Copilot是成功应用RAG模式的一个例子。Copilot充分利用了RAG模式，重点放在R(etrieval)上。真正的核心工作是数据建模和检索，已经构建了8年之久，即Microsoft Graph。

什么是 RAG？

检索增强生成（RAG）由检索、增强和生成三部分组成。首先，将用户问题转换为搜索查询。其次，通过应用程序接口从各种来源获取相关文本数据。第三，将相关文本数据与用户问题一起插入 LLM（大语言模型）提示。第四，LLM 根据相关文本数据生成对用户问题的回复。最后，将答案与相关数据源一起显示给用户，这样用户就可以轻松验证聊天机器人的答案。

基本 RAG 工作流程包括检索、增强和生成。

这一过程具有透明度和可扩展性。最后一步是显示聊天机器人回答问题的理由，这对于提高透明度至关重要。模块化设计允许 RAG 架构的每个组件独立扩展，因此我们可以切换 LLM、用户界面和信息检索（IR）系统或修改知识库的信息源。

机器学习或黑盒 LLM 通常不容易实现这些优势，因此基本的 RAG 模式很可能经受住时间的考验。LLM 可以换成其他算法，汇集文本数据进行回答，用户界面可以换成增强现实眼镜，IR 系统可以由成千上万个不同的 API 组成，供用户调用（可以查看 Gorilla）。在本例中，ChatGPT 是一种方便的基于文本问答的 LLM，更高级的 IR 系统可以留到以后使用。

既然我们已经就什么是 RAG 模式达成了共识，那么我们就来研究一下 IR 系统的陷阱，特别是 RAG 的陷阱。

向量搜索失败的原因及解决方法

举个例子，假设我们基于 Tesla Model 3 手册，利用语义向量搜索建立了一个 RAG 客户支持聊天机器人。为了建立矢量索引，我们将手册逐页分块。

您可以通过此 Google Colab 笔记本跟进示例。笔记本、微调模型权重、训练数据以及训练和验证损失都可以在 Google Drive 上找到。请记得将所有必要文件从 Google Drive 上传到 Google Colab 文件系统，以便在笔记本中访问。

问题陈述

一位用户进入聊天室。用户在特斯拉汽车仪表盘上遇到一个错误：APP_w304。用户向特斯拉聊天机器人发送信息。

“I see code APP_w304 on my dashboard wha