黑客灵魂

这个屌丝很懒，什么也没留下！

热门标签

【大模型】「RAG，Retrieval-Augmented Generation」检索增强生成-全流程_llm主流rag从架构到技术细节

作者：黑客灵魂 | 2024-06-22 10:16:07

踩

llm主流rag从架构到技术细节

女王の专属领地管理信息化精进 2024-04-19 14:32 贵州

Retrieval-Augmented Generation（RAG）作为机器学习和自然语言处理领域的一大创新，不仅代表了技术的进步，更在实际应用中展示了其惊人的潜力。

RAG结合了检索（Retrieval）和生成（Generation）两大核心技术，通过这种独特的混合机制，能够在处理复杂的查询和生成任务时，提供更加准确、丰富的信息。无论是在回答复杂的问题，还是在创作引人入胜的故事，RAG都展现了其不可小觑的能力。

一、什么是RAG？

检索增强生成（Retrieval Augmented Generation），简称 RAG，已经成为当前最火热的LLM应用方案。它是一个为大模型提供外部知识源的概念，这使它们能够生成准确且符合上下文的答案，同时能够减少模型幻觉。

但是大模型应用于实际业务场景时会发现，通用的基础大模型基本无法满足我们的实际业务需求，主要有以下几方面原因：

知识的局限性：模型自身的知识完全源于它的训练数据，而现有的主流大模型（ChatGPT、文心一言、通义千问…）的训练集基本都是构建于网络公开的数据，对于一些实时性的、非公开的或离线的数据是无法获取到的，这部分知识也就无从具备。
幻觉问题：所有的AI模型的底层原理都是基于数学概率，其模型输出实质上是一系列数值运算，大模型也不例外，所以它有时候会一本正经地胡说八道，尤其是在大模型自身不具备某一方面的知识或不擅长的场景。而这种幻觉问题的区分是比较困难的，因为它要求使用者自身具备相应领域的知识。
数据安全性：对于企业来说，数据安全至关重要，没有企业愿意承担数据泄露的风险，将自身的私域数据上传第三方平台进行训练。这也导致完全依赖通用大模型自身能力的应用方案不得不在数据安全和效果方面进行取舍。
而RAG是解决上述问题的一套有效方案。

二、RAG结构

简单来讲，RAG就是通过检索获取相关的知识并将其融入Prompt，让大模型能够参考相应的知识从而给出合理回答。因此，可以将RAG的核心理解为“检索+生成”，前者主要是利用向量数据库的高效存储和检索能力，召回目标知识；后者则是利用大模型和Prompt工程，将召回的知识合理利用，生成目标答案。

完整的RAG应用流程主要包含两个阶段：

数据准备阶段：数据提取 >> 文本分割 >> 向量化（embedding) >> 数据入库
应用阶段：用户提问 >> 数据检索（召回） >> 注入Prompt >> LLM生成答案

2.1 数据准备阶段

数据准备一般是一个离线的过程，主要是将私域数据向量化后构建索引并存入数据库的过程。主要包括：数据提取、文本分割、向量化、数据入库等环节。

数据提取

数据加载：包括多格式数据加载、不同数据源获取等，根据数据自身情况，将数据处理为同一个范式。
数据处理：包括数据过滤、压缩、格式化等。
元数据获取：提取数据中关键信息，例如文件名、Title、时间等。

文本分割

文本分割主要考虑两个因素：

1）embedding模型的Tokens限制情况；
2）语义完整性对整体的检索效果的影响。

一些常见的文本分割方式如下：

句分割：以”句”的粒度进行切分，保留一个句子的完整语义。常见切分符包括：句号、感叹号、问号、换行符等。
固定长度分割：根据embedding模型的token长度限制，将文本分割为固定长度（例如256/512个tokens），这种切分方式会损失很多语义信息，一般通过在头尾增加一定冗余量来缓解。

向量化（embedding）

向量化是一个将文本数据转化为向量矩阵的过程，该过程会直接影响到后续检索的效果。目前常见的embedding模型如表中所示，这些embedding模型基本能满足大部分需求，但对于特殊场景（例如涉及一些罕见专有词或字等）或者想进一步优化效果，则可以选择开源Embedding模型微调或直接训练适合自己场景的Embedding模型。

数据入库

数据向量化后构建索引，并写入数据库的过程可以概述为数据入库过程，适用于RAG场景的数据库包括：FAISS、Chromadb、ES、milvus等。一般可以根据业务场景、硬件、性能需求等多因素综合考虑，选择合适的数据库。

2.2 应用阶段

在应用阶段，我们根据用户的提问，通过高效的检索方法，召回与提问最相关的知识，并融入Prompt，大模型参考当前提问和相关知识，生成相应的答案。关键环节包括：数据检索、注入Prompt等。

数据检索

常见的数据检索方法包括：相似性检索、全文检索等，根据检索效果，一般可以选择多种检索方式融合，提升召回率。

相似性检索：即计算查询向量与所有存储向量的相似性得分，返回得分高的记录。常见的相似性计算方法包括：余弦相似性、欧氏距离、曼哈顿距离等。
全文检索：全文检索是一种比较经典的检索方式，在数据存入时，通过关键词构建倒排索引；在检索时，通过关键词进行全文检索，找到对应的记录。

注入Prompt

Prompt作为大模型的直接输入，是影响模型输出准确率的关键因素之一。在RAG场景中，Prompt一般包括任务描述、背景知识（检索得到）、任务指令（一般是用户提问）等，根据任务场景和大模型性能，也可以在Prompt中适当加入其他指令优化大模型的输出。一个简单知识问答场景的Prompt如下所示：

【任务描述】假如你是一个专业的客服机器人，请参考【背景知识】，回【背景知识】 {content} // 数据检索得到的相关文本【问题】
石头扫地机器人P10的续航时间是多久？

Prompt的设计只有方法、没有语法，比较依赖于个人经验，在实际应用过程中，往往需要根据大模型的实际输出进行针对性的Prompt调优。

三、执行流程

索引生成部分

文档处理：将私有知识库中的文档转换成可以处理的文本块。
嵌入模型：使用嵌入模型（如BERT、GPT等）将文本块转换成向量。
索引：创建文本块向量的索引，以便能够快速检索。
数据库：嵌入向量被存储在一个向量数据库中，通常使用近似最近邻（ANN）搜索来优化检索速度。

用户问答部分

查询：用户在聊天界面输入查询。
查询嵌入：查询也被转换成向量，以便与文档的嵌入向量进行比较。
检索向量：查询的向量在向量索引中被用来找出最相近的文本块向量，最相近的文本块向量代表了与用户查询最相关的知识片段。
提示和回答：生成模型（LLM）接收到用户的查询和检索到的知识片段，然后生成回答。这个回答既包含了用户查询的上下文，也融合了从知识库中检索到的信息。

四、分类

RAG的迭代升级，主要分三个阶段，分别是原始RAG、高级RAG、模块化RAG，三者的大致区别是这样的：

显然，RAG的建立并非一蹴而就的，以原始RAG为起点，完成初步功能，在此基础上逐步升级，形成高级RAG，而这些迭代升级的组件也会逐步形成完整的模块独立承担重要功能，形成了模块化RAG。

原始RAG，只是具备了RAG最基础的部分，离线索引构造、在线检索以及大模型生成；
高级RAG则是在这3个流程里增加更多细化的工作，用于进一步优化，例如数据预处理、滑动窗口、文章切片等，重点在检索层面的优化，提升检索模块的质量；
模块化RAG则是一个更为精细的系统，把简单的RAG组件拓展成更多的复杂的模块以应对更复杂的需求，例如query和文档的改写、过滤、精排等，或者引入多模态、决策模块（或者大家爱说的agent）、后处理等。现在让我为大家逐个解释其组件的含义以及特点。

4.1 Navie RAG

原始RAG一般只包含3个简单的组件：索引、检索和生成

索引是一个离线的流程，是为方便检索服务的，在构造索引阶段需要对各种类型的原始文档进行预处理和转化，例如PDF之类的文档解析、长文本分块、嵌入和索引等，再者需要做嵌入和转化，转化成方便检索的方式，例如向量化等。
检索是在线用query去建立好的索引中查询，转化为向量是一个重要、简单但不唯一的方式。
生成是将检索结果和用户query进行组装后交给大模型，从而生成更可控的回复结果。

因为组件的简单，在实际应用功能中很可能没办法立刻达到很好的效果，根据原论文，主要会有如下挑战：

检索质量：查询的结果并不一定适合给定的query，这个的原因可能会有很多，例如索引和文档预处理的问题（如分块导致的内容缺失、知识覆盖率等）、向量的问题等。
回复质量：笼统地可以说是幻觉，但不限于幻觉，尽管RAG能很大程度约束大模型的随意生成，但不见得能绝对保证约束，模型还是可能会生成编造、违背现实、拒答、不参考检索结果等问题。
增强过程问题：这里指的是检索结果和大模型回复的协同的问题，不合适的文档或者是不够强的模型都可能导致这块的失效，大模型可能会被检索结果误导，或者是被重复信息影响之类的，从而生成杂乱无章、重复、答非所问的问题。另一方面，大模型的生成如果过度依赖检索结果，也可能会让回复内容受到限制。

4.2 Advanced RAG

高级的RAG能很大程度优化原始RAG的问题，在索引、检索和生成上都有更多精细的优化。

在索引层面，或者说是在预检索阶段进行优化，提升索引内容质量，从而方便检索，文中提到的手段主要是如下五种：
- 提升数据粒度：直接进行向量表征得到的向量往往粒度比较粗，很多信息在转化为向量后就会被稀释，因此提前做标准化或者剔除一些无关的字符，对检索式有很大好处的，再者对知识的准确性、上下文连贯性、及时性等因素也要加以把控。
- 优化索引结构：通过调整数据块大小、改变所有路径、加入图结构的方式，能优化检索效果。
- 添加元数据信息：为原有的文档或者文档块增加元数据信息，例如修改时间、用途等，这些信息如果能被参考检索，能提升检索的灵活性和及时性。
- 对齐优化：所谓的对齐，是指检索的内容和用户的提问尽可能对齐，这样计算的相似度会比较高，容易被检索到，这时候可以通过大模型对文档或者文档块挖掘问题来处理。
- 混合检索：不拘泥于一个向量检索，可以有多个表征方式的向量检索，也可以加入字面、数字等的检索，混合检索能提升有效文档的召回率。
在检索层面，一般我们都会在RAG中加入向量检索，而其中的关键就是向量表征模型，也就是embedding嵌入，向量表征模型的准确与否，决定了这一路检索的准确性，因此会对向量表征模型做优化：
- 微调：针对特定问题、特定领域或者是特定的检索对，用特定的向量表征一般都会有比较好的效果，因此在有一定训练数据下，很推荐微调以获取更高的上限。
- 动态嵌入：相对于很久之前的word-embedding为代表的静态而言的，每个词对应的表征会根据上下文变化，这个其实早在ELMO模型的时候就已经实现了，每个词汇的表征都会依赖上下文，到了bert时代甚至是现在的模型，基本都已经算动态嵌入了。
在生成层面，检索后处理是检索的首要要求，但不是唯一，检索回来的结果过于冗长或者重复对最终的记过都有影响，因此，还可以通过后处理来进一步优化。
- 重排序：一方面，提及Diversity Ranker会根据文档的多样性进行重新排序，而LostInTheMiddleRanker则会交替地将最佳文档放在上下文窗口的开始和结束位置，从而获取更加合适而又丰富的结果，再者，为了进一步强化排序结果，通过一些精排模型，也能进一步优化排序结果，如bgererank5等。
- prompt压缩：在进行大模型生成之前，先进行prompt压缩，减少噪音信息，凸显关键段落，有利于最终的回复。

再者，可以考虑进一步优化整个RAG的流程，当前的思路主要集中在混合检索、递归检索和搜索引擎、HyDE等方案。

RAG中的R本质就是检索，原来搜索领域留下的各种宝贵经验很多都能够借鉴，关键词、字面匹配等，都是可以使用的。
递归检索在文中的概念，其实是把索引文段和返回文段进行分拆，计算相似度的时候是query和小片段，但是返回的是大片段，用大片段给大模型做检索增强。
stepback prompt是一种prompt工程方案，通过诱导让大模型逐步探索出方案，具体可以参考这个：https://zhuanlan.zhihu.com/p/664396592。当然了，这其实代表的是prompt工程方案了，这里能探索出很多不同的优化方案。
论文中提到的子查询（subquery），其实是传统搜索领域的词，在这里面有一些类似“检索语法树”的概念，例如可以用“should”、“must”、“filter”之类的检索策略来约束整个检索，使之更加精准可控，这个是能提升检索的效果的。
HyDE方案是指，让大模型对query先生成一个答案，这个答案允许是错的，但里面的关键词基本不会差异很大，在这个假设下，对答案做embedding相比对原query能更接近索引中的doc的embedding，此时对检索难度是有很大程度的下降。这里所代表的，或者说更抽象的，是通过query拓展的手段让检索query和doc拉到更接近的语义空间的思想。

4.3 Modular RAG

模块化RAG是对高级RAG的一种升级，这里面集成了大量优化策略，并将这些策略进行重组，形成完整的模块独立完成特定功能，其实很多内容和上面提及的很接近，只是更加模块化。论文里有提及很多模块，这些模块都是可以进行单独优化的。

搜索模块：相比于前面提及的RAG中的简单搜索，这里的搜索可以涵盖大量经典搜索的必要组件，如query改写、意图识别、实体检索等，还涉及多路召回等工程思路，再者，也要开始面对各种千奇百怪的文档形式，表格、数字公式等。
记忆模块：借助大模型本身的记忆功能来实现，寻找和大模型历史回复最接近的，来进行回复。
额外生成模块：提供除生成回复结果之外的其他生成能力，例如对文档的精简，删除检索噪音等。
任务适配模块：让RAG系统能够适配不同的下游任务，有些时候，类似用大模型进行分类，其实也能使用RAG的模式进行优化。
对齐模块：用于对齐query和doc，毕竟query和doc本身的语义空间就有巨大差异，直接进行相似度计算的难度其实很大，因此可以进行一定的调整。
验证模块：作为检索的后处理，验证query和检索结果的相关性，即确定检索得到的文档是否能够回答这个问题。

RAG本就是一个高度组织性的项目，在迭代过程中，是需要对这些模块进行优化和调整的，而往里面新增模块，主要有两种形式：

直接进行增加和替换。
调整模块之间的协同流程，尤其是大模型和检索模块之间的互动。
这里原文中有提及self-RAG，即会引入了一个主动判断的模块，这个思路还挺有意思的，大家有兴趣可去看看。

五、作用

1. 保持知识更新
将大型语言模型（LLM）如ChatGPT配备能够随时查阅最新资讯的能力，就好比为它安装了一对能够观察现实世界的“眼睛”。这种能力的增加不仅极大地扩展了模型的知识范围，还提高了其与现实世界同步的能力，让它能够更有效地参与到关于时事的对话中。

2. 提供专业知识
如果你的问题涉及特定的专业领域，RAG就像一个熟练的图书管理员，它不仅掌握着大量的专业书籍，还能够迅速而准确地从这些书籍中找到与你的问题最相关的答案。这样的能力使得RAG在处理复杂和专业性问题时表现出色。

3. 私有知识的安全
随着人工智能的发展，数据安全成为了企业关注的重点。对于企业而言，将长期累积的独有的知识库、敏感的经营数据、合同文件等机密信息上传到互联网上的大型模型可能会带来安全风险。在这种背景下，RAG技术提供了一种有效的解决方案。

4. 增加可信度
RAG赋予机器人在回答问题时提供信息来源的能力，这是一个重要的特性。当你向机器人提问时，它不仅能给出答案，还能明确告诉你这些答案是基于哪些资料或数据得出的。这种透明度极大地增加了机器人提供的信息的可信度，并帮助用户区分信息的真实性和准确性。

5. 减少大模型LLM的“幻觉”
大型语言模型（如GPT系列）在生成文本时偶尔出现的“幻觉”（hallucination）现象，是由于模型在处理特定查询时，可能会生成不准确、不相关或虚构的信息。这种现象往往发生在模型对于回答问题所需的知识不了解或不熟悉的情况下。RAG的出现，通过利用外部知识源，可以有效地弥补这一缺陷。

六、面临的挑战

RAG在实施过程中确实面临着多项挑战，其中包括嵌入质量、性能优化和上下文理解。这些难点不仅关系到RAG系统的效率，还直接影响到最终生成文本的准确性和可用性。

1. 提升嵌入的质量
将外部知识源转换为向量时，需要保证嵌入（embedding）的高质量至关重要，这一过程对于提高查询与知识库信息匹配的准确性至关重要。技术上，这要求嵌入能够捕获和保留文本的深层语义特征，包括上下文关系和词汇间的微妙联系。

此外，为了避免训练过程中的数据偏见，需要用到平衡和多样化的数据集。只有这样，通过嵌入生成的向量才能真正代表原始文本的意图和内容，从而在查询时提供更准确、更相关的结果。

2. 查找精确知识的挑战
从外部知识源中准确地查找与当前问题最匹配的知识是一个复杂的挑战。这要求大模型LLM能够深入理解用户查询的真实意图，同时利用高效的检索算法在庞大的数据集中快速定位相关信息。此外，确保检索结果的相关性和质量，以及处理大量数据的能力，也是这一挑战的关键部分。同时，系统还需要适应模糊或复杂的查询，并保持知识库的时效性和准确性。

3. 上下文内容的理解
上下文理解是一个核心挑战，要求生成模型不仅深入理解检索到的上下文信息，包括其隐含含义和语境；
在理解检索到的内容后，挑战在于如何将这些信息与原始查询请求以及模型已有的知识库相结合。这要求模型能够在回答生成过程中，不仅准确地引用检索信息，还要保证信息的连贯性和逻辑性。

上下文理解的挑战要求RAG在处理和生成回答时，能够展现出高度的理解能力和灵活的信息整合能力。这对于提升回答的质量和用户满意度至关重要。

七、应用场景

RAG在未来的应用前景非常广阔，几乎覆盖了所有企业和行业。这是因为RAG能够结合大型语言模型的强大处理能力和企业或行业自身独有的知识体系，从而制定出行业或企业专属的AI解决方案。无论是金融、医疗、法律、教育，还是零售、制造、娱乐等行业，企业都可以利用RAG技术构建专门的小型模型，以满足特定的业务需求。

1. 医疗行业
在医疗领域，RAG可以被用作临床决策支持工具。通过结合医学数据库和研究论文，RAG能够帮助医生快速获得关于疾病诊断、治疗方案和药物信息的最新研究。例如，对于罕见病的诊断，RAG可以通过检索最新的医学文献和病例报告，提供可能的诊断建议和治疗方法。

2. 法律行业
在法律行业，RAG可以辅助律师进行案例研究和提供法律咨询。通过访问法律数据库和历史案例，RAG能够帮助律师找到相关的法律先例和法规，从而提高案件分析的效率和准确性。这对于处理复杂的法律问题，如知识产权纠纷或国际法案，尤为有用。

3. 教育领域
在教育领域，RAG可以作为学习资源和研究辅助工具。教师和学生可以利用RAG快速访问大量的教育资料、学术论文和案例研究，从而丰富教学内容和加深学习理解。例如，学生在准备论文时，可以用RAG来查找相关的研究工作和理论框架。

八、一些资源

RAG可以类比成互联网时代的网络，是每个"数智化"转型的企业和个人要正视的，它是行业大模型的根基。有时间可以拓展阅读以下内容。