今日arXiv最热NLP大模型论文：引入噪声，可提升RAG检索效果超30%？？

检索增强生成（Retrieval-Augmented Generation，简称RAG）系统的出现，提高了LLMs回答生成的准确性。它分为两个部分:检索与生成。检索即利用检索器从海量文档中检索出与查询最相关或者最相似的段落，而生成则是LLMs针对混合查询和检索到的文档生成响应。

最近关于RAG的研究也非常多，特别是对检索组件有非常多的优秀工作。今天我们介绍的这篇文档从一个特殊的角度出发，讨论检索到的文档对RAG系统性能的影响。

大家可能想说，这有什么好讨论的，检索到的文档对性能的影响很直白啊，那肯定是与查询越相关，效果越好啊。

那如何为检索文档添加一些噪声呢？也就是说与查询八竿子打不着的文档，对系统性能的影响又如何呢？

从直觉上来说，噪声应该会对系统性能产生负面影响。

但是今天这篇文章给出的结果却让人大吃一惊！

噪声文档不仅没有对系统性能造成负面影响，反而能够显著提高系统的准确性，最高可达35%的改善。而那些与查询相关的文档可能是强有力的干扰项，影响模型的性能。这一发现挑战了传统信息检索系统的常规理解，在这个新的范式下，传统的检索技术可能不是最优的，需要针对语言生成模型与检索整合的特定需求开发专门的方法。

论文标题：
The Power of Noise: Redefining Retrieval for RAG Systems

论文链接为：
https://arxiv.org/pdf/2401.14887.pdf

声明：本期论文解读非人类撰写，全文由赛博马良「AI论文解读达人」智能体自主完成，经人工审核、配图后发布。

公众号「夕小瑶科技说」后台回复“智能体内测”获取智能体内测邀请链接。

检索文档类型分类

通过检索组件获得的文档可以分为三类：相关文档（relevant）、相关但不包含答案文档（related）和不相关文档（irrelevant）

• 相关文档包含直接与查询相关的信息，提供直接回答或解释查询的标准数据。

• 相关但不包含答案文档虽然没有直接回答查询，但在语义上或背景上与主题相关联。例如，如果有人问拿破仑的马的颜色，一份表述拿破仑妻子马的颜色的文档，虽然不包含正确信息，但与之高度相关。

• 不相关文档与查询无关，代表了检索过程中的一种信息噪音。

实验设置

1. 数据集

实验使用了Natural Questions (NQ)数据集，这是一个由Google搜索数据派生的大规模真实世界查询集合。每个数据集条目包括一个用户查询和包含答案的相应Wikipedia页面。为了促进自然语言理解和开放域问答的研究，该数据集提供了丰富的真实世界问题和上下文相关答案的来源。经过处理后，最终的数据集包括21,035,236份文档，其中训练集有72,209个查询，测试集有2,889个查询。

2. 文档检索

文档检索器使用Contriever，这是一个基于BERT的密集检索器，它使用对比损失进行无监督训练。为了提高在大约2100万文档的语料库中进行相似性搜索的效率，还使用了FAISS IndexFlatIP索引系统。每个文档和查询的嵌入是通过对模型最后一层的隐藏状态进行平均得到的。

3. LLM生成

收到查询后，检索器根据给定的相似性度量从语料库中选择前