RAG的10篇论文-2024Q1_rag 论文

大模型来了，论文都读不过来了。

在大型模型的研究与工程应用领域，变化之迅猛令人瞠目，用“日新月异”来形容似乎都显得有些保守。即便是针对其中的RAG技术，自2024年伊始至今，学界就已经涌现出了很多高质量的研究论文。在这里，老码农挑选了十篇具有代表性的作品，以期对大家的探索和实践提供有益的参考与启示。

1. RAG与微调：流水线、权衡和一个农业案例的研究

论文标题：RAG vs Fine-tuning: Pipelines, Tradeoffs, and a Case Study on Agriculture
论文地址：https://arxiv.org/abs/2401.08406

本篇论文深入探讨了开发者如何借助RAG以及微调（FT）将私有数据及特定行业数据融合至大型语言模型（LLM）之中。文中详细阐述了如何将这些技术应用于Llama2-13B、GPT-3.5和GPT-4等主流LLM，重点在于信息的精确提取、问题及答案的生成、模型的微调过程以及效果评估。研究结果显现，通过微调，模型能够有效利用跨域信息，显著提升回答的相关性。此外，本文还强调了LLM在众多工业领域应用的广泛潜力和明显优势。

2. 针对非常见知识的微调与RAG对比

论文标题：Fine Tuning vs. Retrieval Augmented Generation for Less Popular Knowledge
论文地址：https://arxiv.org/pdf/2403.01432.pdf

在执行问答任务时，本文深入分析了关系抽取与图构建（RAG）以及微调（FT）这两种方法对于增强大型语言模型（LLM）处理低频实体问题的能力。研究结果表明，尽管微调方法在不同受欢迎程度的实体识别中取得了显著的性能提升，但RAG在性能上更胜一筹，优于其他对比方法。此外，随着检索技术和数据增强技术的不断进步，RAG和FT方法在定制化LLM以应对低频实体方面的能力得到了显著增强。

3. 通过从数万亿token中检索来改进语言模型

论文标题：Improving language models by retrieving from trillions of tokens
论文地址：https://arxiv.org/abs/2112.04426

本研究提出了一种创新的RAG Transformer，它通过条件性地处理从庞大语料库中检索出的文本段落，以此增强自回归语言模型的性能。虽然该Transformer相较于现有模型如GPT-3使用的参数大幅减少，但经过微调后，在问题回答等任务上表现出色。这是通过结合一个固定的Bert检索器、可微分编码器以及分块交叉注意力机制实现的，从而在预测阶段能够利用比之前多出一个数量级的数据。这一方法为借助显式记忆来规模性提升LLM能力开辟了新的路径。

4. 将语言模型适应于特定领域的RAG

论文标题：RAFT: Adapting Language Model to Domain Specific RAG
论文地址：https://arxiv.org/abs/2403.10131

RAFT（Retrieval Augmented FineTuning）是一种创新的训练方法，旨在提升预训练大型语言模型（LLM）在特定领域内回答问题的能力。RAFT专注于对模型进行微调，使其学会在问答过程中忽略那些无关的检索文档，从而灵活地吸收新知识。通过有针对性地整合检索文档中的相关资讯，RAFT显著增强了模型在包括PubMed、HotpotQA和Gorilla等多个数据集上的推理表现和整体性能。

5. 可修正的RAG

论文标题：Corrective Retrieval Augmented Generation
论文地址：https://arxiv.org/abs/2401.15884

在RAG流程中，本研究引入了一项新颖策略，旨在显著提升大型语言模型的鲁棒性和精确度。针对依赖检索文档相关性可能引发的缺陷，采用了一种检索评估器来对给定查询返回的文档质量和相关性进行量化，进而实施了一种基于置信度的自适应检索机制。为了突破静态数据库的限制，该方法整合了大规模网络搜索资源，为模型提供了一个更加丰富的文档集。此外，其独创的分解再重组算法确保了模型在滤除不相关信息的同时，能够聚焦于抓取关键信息，从而显著提升了内容生成的品质。作为一套通用型的即插即用解决方案，该方法极大地增强了基于RAG的模型在多种生成任务中的处理能力，并通过四个不同数据集上的显著成绩提升得到了验证。

6. 通过迭代自反馈从RAG中学习回答和理解

论文标题：RA-ISF: Learning to Answer and Understand from Retrieval Augmentation via Iterative Self-Feedback
论文地址：https://arxiv.org/abs/2403.06840

RA-ISF采用了一种迭代自反馈的RAG方法，通过将任务分解并在三个专门的子模块中依次处理，从而显著增强了大型语言模型（LLM）的问题解决效率。实验结果证明，相较于现有的基准模型——包括GPT3.5和Llama2在内——RA-ISF展现出了卓越的性能优势，它在事实性推理方面取得了显著提升，并有效减少了模型产生幻觉的情况。

7. 长时距生成中RAG引发的上下文感知推理

论文标题：RAT: Retrieval Augmented Thoughts Elicit Context-Aware Reasoning in Long-Horizon Generation
论文地址：https://arxiv.org/abs/2403.05313

这一方法通过在信息检索过程中以迭代的方式精炼思维链，显著增强了LLM在处理长期依赖任务中的推理与内容生成能力。将RAG技术融入GPT-3.5、GPT-4以及CodeLLaMA-7b等先进模型后，其在多个领域任务上的表现得到了显著提升。具体而言，在代码编写、数学逻辑推理、创意写作以及具体化任务规划等方面，模型的平均评分分别提高了13.63%、16.96%、19.2%和42.78%，展现了其卓越的性能优化效果。

8. 用于大语言模型中幻觉抑制的自适应RAG

论文标题：Retrieve Only When It Needs: Adaptive Retrieval Augmentation for Hallucination Mitigation in Large Language Models
论文地址：https://arxiv.org/abs/2402.10612

对于LLM而言，幻觉现象是一个严峻的挑战，这主要归咎于其内部知识的局限性。尽管融合外部信息可以在一定程度上缓解这一问题，但这也可能引入与上下文无关的杂乱细节，从而引发所谓的外部幻觉。在识别跨语境不一致性时，通过有选择性地利用检索结果来增强LLM，能够揭示出潜在的幻觉内容。这一语义感知机制恰当地权衡了内在逻辑推理与外部事实证据，有效降低了幻觉发生的几率。经验性分析证实，相较于现行的其他方法，此策略在侦测和消减LLM输出中的幻觉成分方面表现出显著的优势。

9. 树型组织检索的递归抽象处理

论文标题：RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval
论文地址：https://arxiv.org/abs/2401.18059

提出了一种创新的检索增强语言建模方法，通过构建一棵分层摘要树，直接从庞大的文档资料中逐层精炼信息。这种方法区别于传统的摘录式提取，它采纳一个递归的过程，在多个层次上对文本内容进行嵌入、分群和概括。这种层次化的处理方法使得我们可以对文档内的资讯进行深度剖析和整合，极大地增强了处理复杂查询的能力，尤其是那些需要多步骤推理的任务。广泛的基准测试表明，这一方法有望彻底革新模型如何存取和利用大型知识库，为问答系统等领域树立了新的典范。

10. 个性化对话系统的统一多源RAG

论文标题：UniMS-RAG: A Unified Multi-source Retrieval-Augmented Generation for Personalized Dialogue Systems
论文地址：https://arxiv.org/abs/2401.13256

这篇论文设计了一款新型框架，专门针对对话系统中实现个性化的挑战，通过整合多个知识源来进行解决。该框架将任务拆分成三个关键子任务：知识源的选择、知识的检索以及回答的构建，并且在训练阶段将这三个步骤融合为一个连贯的序列到序列的学习范式。这种设计赋予模型利用特定的令牌，动态地检索和评价相关信息，从而促进与众多知识源的有效互动。此外，我们还引入了一种精细自我调整机制，它根据一致性和相关性的评分，对生成的回答进行迭代优化，以提升其质量。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】