LongRAG: Enhancing Retrieval-Augmented Generation with Long-context LLMs

本文是LLM系列文章，针对《LongRAG: Enhancing Retrieval-Augmented Generation with Long-context LLMs》的翻译。

摘要

在传统的RAG框架中，基本检索单元通常很短。像DPR这样的常见检索器通常处理100个单词的维基百科段落。这样的设计迫使检索器在大型语料库上搜索以找到“针”单元。相比之下，读者只需要从检索到的简短单元中提取答案。这种不平衡的“重”检索器和“轻”读取器设计可能导致次优性能。为了缓解这种不平衡，我们提出了一个新的框架LongRAG，由“长检索器”和“长阅读器”组成。LongRAG将整个维基百科处理成4Ktoken单元，比以前长了30倍。通过增加单元大小，我们将总单元从2200万个显著减少到600万个。这显著降低了检索者的负担，从而获得了显著的检索分数：答案recall@1=在NQ上占71%（之前为52%）并回答recall@2在HotpotQA（完整的wiki）上=72%（之前为47%）。然后，我们将前k个检索单元（≈30Ktoken）馈送到现有的长上下文LLM，以执行零样本答案提取。在不需要任何训练的情况下，LongRAG在NQ上实现了62.7%的EM，在HotpotQA（完整的wiki）上实现了64.3%的EM，这与（完全训练的）SoTA模型不相上下。我们的研究为将RAG与长期LLM相结合的未来路线图提供了见解。

1 引言

2 相关工作

3 LongRAG

4