一文搞懂大模型 RAG 检索增强生成_rag增强检索

作者：我家小花儿 | 2024-04-24 22:15:33

踩

rag增强检索

RAG 检索增强介绍

检索增强生成（Retrieval Augmented Generation，RAG）是一种强大的工具，它通过将外部知识整合到生成过程中，增强了大型语言模型（LLM）的性能.

让我们探索 RAG 的关键组成部分。

第一、定制知识库

定制知识库是指一系列紧密关联且始终保持更新的信息集合，它构成了 RAG 的核心基础。这个知识库可以表现为一个结构化的数据库形态，也可以表现为一套详尽的文档体系，甚至可能是两者兼具的综合形式。

第二、分块

分块技术是指将大规模的输入文本有策略地拆解为若干个较小、更易管理的片段的过程。这一过程旨在确保所有文本内容均能适应嵌入模型所限定的输入尺寸，同时也有助于显著提升检索效率。

实施一种明智且高效的分块策略，在优化信息处理流程方面具有关键作用，能够极大地增强您的 RAG 系统的性能与响应能力。

第三、Embedding 嵌入 & Embedding Model 嵌入模型

一种将文本数据表示为数值向量的技术，可以输入到机器学习模型中。

嵌入模型负责将文本转换成这些向量。

第四、向量数据库

一系列预先计算的文本数据向量表示，用于快速检索和相似性搜索，具有SQL CRUD 操作、元数据过滤和水平扩展等功能。

第五、用户聊天界面

一个用户友好的界面，允许用户与 RAG 系统互动，提供输入查询并接收输出。

查询转换为嵌入，用于从向量数据库检索相关上下文！

第六、提示模板

为 RAG 系统生成合适提示的过程，可以是用户查询和定制知识库的组合。

这作为输入给 LLM，产生最终回复。

前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~

我们建了大模型技术与面试交流群，想要进交流群、需要源码&资料、提升技术的同学，可以直接加微信号：mlc2060。加的时候备注一下：研究方向 +学校/公司+CSDN，即可。然后就可以拉你进群了。

方式①、微信搜索公众号：机器学习社区，后台回复：加群
方式②、添加微信号：mlc2060，备注：技术交流

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家小花儿/article/detail/481831