大语言模型的外挂数据库：RAG检索增强生成

作者：AllinToyou | 2024-06-03 16:11:21

踩

Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
Lewis P, Perez E, Piktus A, et al. Retrieval-augmented generation for knowledge-intensive nlp tasks[J]. Advances in Neural Information Processing Systems, 2020, 33: 9459-9474.

RAG结合了信息检索和文本生成两种方法，旨在突破传统问答系统的局限。通过将外部数据检索的相关信息输入大语言模型，大语言模型能够基于这些信息生成回答，进而增强答案生成的能力。RAG能够处理更广泛、更复杂的问题。使用RAG后可以有效解决大语言模型细分领域的幻觉和知识过期问题。

1、RAG的和核心组件

（1）信息检索
（2）文本生成

2、RAG工作流程

（1）最基础的RAG
在这里插入图片描述

（2）增加预处理查询的RAG
在这里插入图片描述

（3）带有聊天历史的RAG
在这里插入图片描述

（4）增加自动排序的RAG
在这里插入图片描述

3、RAG在Chatbot中的应用

（1）提高回应的相关性和准确性
（2）处理复杂查询
（3）增强个性化和上下文理解能力

4、RAG面临的挑战

（1）检索与生成的协同工作：检索到的内容与生成的内容能否紧密结合是一个关键问题。
（2）计算效率：执行检索和生成着两个步骤可能导致系统响应延迟，使整个系统的运行速度变慢，因此对时间敏感的应用而言，RAG可能不太适用。
（3）数据噪声：外部检索的数据可能带有噪声，这会影响生成内容的准确性。

5、RAG与Fine-tuning

RAG和Fine-tuning都是强大的工具，可以增强大语言模型应用的性能，但它们针对的是优化过程的不同方面。两者是截然不同的两种技术，不是替代关系，而是关联关系，在不同场景下应该选择不同的方案。

对比项	RAG	Fine-tuning
需要获取外部数据吗	yes	no
需要改变模型行为模式吗	no	yes
幻觉有最小化吗	yes	no
训练数据充足吗	no	yes
数据动态性高吗	yes	no
数据可解释度如何	yes	no

参考

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/AllinToyou/article/detail/667908