大模型未来发展：RAG vs 长文本，谁更胜一筹？｜Z 沙龙第 8 期

「Z计划」 是智谱 AI 面向未上市初创企业与优秀独立开发者/团队，提供 Tokens 赞助、投资支持和技术支持等资源的创新加速计划。面向全球，持续招募中！（点击报名）「Z沙龙」是支持该计划的面向大模型领域的线下活动品牌。为鼓励自由发言，人人发言，我们暂时不披露参与者个人信息。本文不代表智谱公司认同文中任何观点。

编者按：当前，AIGC的迭代速度正以指数级的速度增长。2024 年 2 月，谷歌发布的 Gemini 1.5 Pro；

再次将上下文刷新为 100 万 token，创下了最长上下文窗口的纪录，相当于 1 小时的视频或者 70 万个单词。

由于 Gemini 在处理长上下文方面表现出色，甚至有人高喊“RAG 已死”。爱丁堡大学博士付尧表示：“一个拥有 1000 万 token 上下文窗口的大模型击败了 RAG。

大语言模型已经是非常强大的检索器，那么为什么还要花时间构建一个弱小的检索器，并将时间花在解决分块、嵌入和索引问题上呢？”

随着模型上下文长度的提升，一个问题逐渐显现：RAG技术是否会被取代？由此，我们在 3 月 9 日举办了 Z 沙龙第六期：Long-context & RAG。

我们邀请了产业界和学术界的朋友们共同碰撞思想，交流观点；他们分享了关于于 Long-context 和 RAG 的看法，并对 Context length 是否存在摩尔定律展开了精彩讨论。

同时，投资人与产业从业者也分享了 Long-context 及 RAG 如何赋能 AI 应用。对于研究人员与大模型从业者关心的点，罗列如下，方便大家结合目录使用：

• Long-context 将取代 RAG（2.2）

• Context length 存在摩尔定律（3.1）

• 大海捞针是否是长文本测试唯一的标准（4.3）

• Long-context 与 RAG 未来的发展趋势（5.5）

目录 建议结合要点进行针对性阅读。