Self-RAG：通过自我反思学习检索、生成和批判

论文地址：https://arxiv.org/abs/2310.11511

项目主页：https://selfrag.github.io/

Self-RAG学习检索、生成和批评，以提高 LM 的输出质量和真实性，在六项任务上优于 ChatGPT 和检索增强的 LLama2 Chat。 

尽管大型语言模型（LLM）具有非凡的能力，但由于它们完全依赖于它们所封装的参数知识，因此通常会产生包含事实不准确的响应。他们经常产生幻觉，尤其是在长尾方面，他们的知识已经过时，并且缺乏归因。

检索增强是否是银弹

检索增强生成 (RAG) 是种临时方法，通过检索相关知识来增强 LM，减少此类问题，并在 QA 等知识密集型任务中显示出有效性。然而，不加区别地检索和合并固定数量的检索到的段落，无论检索是否必要，或者段落是否相关，都会降低 LM 的多功能性或可能导致生成无用的响应。此外，并不能保证所引用的证据会影响几代人。

Self-RAG的概念

自反思检索增强生成(Self-RAG)是个新框架，通过检索和自反思来提高LM的质量和事实性。我们的框架训练单个任意LM，该LM可以自适应地按需检索段落(例如，可以在生成过程中多次检索或完全跳过检索)，并使用称为反思令牌的特殊标记生成并反映检索到的段落及其自己的生成。生成反射令牌使LM在推理阶段可控，使其能够根据不同的任务要求调整其行为。

Self-RAG的好处

实验表明，Self-RAG(7B和13B参数)在各种任务上显着优于最先进的LLM和检索增强模型。具体来说，Self-RAG在开放域QA、推理和事实验证任务上优于ChatGPT和检索增强的Llama2-chat，并且相对于这些模型，它在提高长格式生成的事实性和引用准确性方面显示出显着的收益。

1. 基本思想

自我反思检索增强生成(Self-RAG)，通过按需检索和自我反思来提高LLM的生成质量，包括其事实准确性，而不损害其通用性。以端到端方式训练任意LLM，使其学会在任务输入时，通过生成任务输出和间歇性特殊标记(即反思标记)来反思自己的生成过程。反思标记分为检索标记和批判标记，分别表示检索需求和生成质量。

Self-RAG是个新的框架，通过自我反思令牌(Self-reflection tokens)来训练和控制任意LM。它主要分为三个步骤：检索、生成和批评。

1. 检索：Self-RAG