Pistis-RAG：原来我们一直叫错了reranker！

TL;DR（太长了我懒得看）

这是一篇清华联合多团队在 Arxiv 上发布的最新研究！这篇研究从真实的 AIGC 系统需求出发，设计了一款专为大规模在线应用而生的 RAG 系统，适用于 ChatGPT、文心一言和通义千问这类场景。

在线 AIGC 系统往往能够收集丰富的用户反馈监督信号（如复制，重新生成和不喜欢），为了对这类信号进行有效的建模，以持续优化 RAG 系统，作者提出了适用于生产级 AIGC 系统的 Pistis-RAG 框架。

Pistis-RAG 通过内容为中心（Content-Centric）的设计，巧妙地利用了 listwide 粒度的用户反馈（如下图：复制、重新生成、不喜欢），实现了 RAG 过程中对 LLM 偏好和用户偏好的对齐，相比基线 RAG 系统（bge-m3 + bge-reranker-large）效果提升了 9.3%。

ChatGPT 的在线用户反馈

---

论文解读

Pistis 是古希腊掌管真诚、信任和可靠的神，因此该框架的目标也是“可信内容生成”，主要手段是在 RAG 的在线服务过程中不断于 LLM 和用户的偏好对齐。该框架的特点是以内容为中心，也是就是作者所说的 Content-Centric。具体而言，作者将大模型框架分为两类，分别是模型为中心的 Model-Centric 框架（如：Langchain）和内容为中心的 Content-Centric 框架（如：Pistis-RAG）。

Model-Centric 的框架从一开始就是围绕着“模型能力”而构建的，主要围绕着模型规划记忆，工具，计划和行动：

Model-Centric 的框架

而 Content-Cenctric 的框架更多是从“内容生成”的角度出发，关注的是一个“从内容到内容”（内容获取，内容生成和内容渲染）的过程：

Content-Centric 框架

Content-Centric 本质上是一个检索-生成的问题。因此，作者首先回顾了现有主流 RAG 框架的发展历程，该过程与传统的信息检索（IR）领域多采用的“多阶段级联系统”方案的历史发展十分一致。

现有主流 RAG 框架方案

作者从 Content-Centric 的视角重新审视现有的 RAG 框架，发现了当前 Model-Centric RAG 框架中的一些问题，相较于传统的信息检索（IR）领域多采用的多阶段级联系统方案，现有的 RAG 系统里对 re-ranker 的命名不当，现有系统中的 re-ranker（例如：bge-reranker）实际上承担了 pre-ranking（粗排）的工作，这种命名容易造成误解。这造成了对真正意义上 ranking 的忽视，导致几乎没有 RAG 框架存在将排序方法和 LLM 的偏好以及其他场景需求对齐的环节。作者提出的解决方案则是让 RAG 系统引入 ranking（精排）和 re-ranking（重排）阶段。

从 Content-Centric 的角度重新审视 RAG 问题

基于这一结论，作者介绍了 Pistis-RAG 框架。该框架通过离线、近线和在线系统的协同配合，满足了工业界 AIGC 系统利用在线用户反馈持续优化 RAG 效果的需求。

Pistis-RAG 框架的最大亮点在于将 RAG 的 ranking（精排） 定义为了一个 listwide label 的 learning to rank 问题。具体来说，Pistis-RAG 的目标是通过对齐 LLM 和用户的偏好，优化生成效果，该过程巧妙地间接利用了用户的 listwide 粒度反馈。该假设的理论依据来自 LLM prompt 顺序敏感性的问题。

【LLM prompt 的顺序敏感性】是指按照排序阶段最优的排序结果组合 few-shot 提示语，并不一定能达到更好的生成效果，最优的排序需要考虑到大模型的偏好。https://arxiv.org/abs/2104.08786

在线实时级联 AIGC 系统

为了通过公开数据集验证该工作的效果，作者提供了一套基于 MMLU 来模拟真实用户反馈的 ranking 实验方案。

该方法模拟在线用户的 copy，regenerate 和 dislike 这类 listwide 反馈，并通过实验证明了用户 listwide 反馈信号的引入带来了显著效果，完整的 Pistis-RAG 方案相较于基线（bge-m3 + bge-reranker-large）提升了 9.3%。

通过开源数据集仿真模拟 ChatGPT 这类应用的在线用户反馈

此外，作者还提供了生产级 AIGC 系统（例如：ChatGPT）在级联系统中各个阶段的定位，以及在实践中一些实用的 tricks 和工业界所需要的设置。这是一篇少有的从真实 AIGC 系统的需求出发，去设计整套 RAG 系统的工作，值得多花些时间阅读。

论文链接：Pistis-RAG: A Scalable Cascading Framework Towards Content-Centric Retrieval-Augmented Generationhttps://arxiv.org/abs/2407.00072