赞
踩
文章链接: HippoRAG: Neurobiologically Inspired Long-Term Memory for Large Language Models
写在前面: 笔者更新不易,希望走过路过点个关注和赞,笔芯!!!
写在前面: 笔者更新不易,希望走过路过点个关注和赞,笔芯!!!
人们总能类人的方法上找到突破口,从CNN 到 RNN 再到attention。这次又到了海马体。
HippoRAG,这是一种由斯坦福大学联合发布的新颖的检索框架,灵感来源于人类长期记忆的海马索引理论。HippoRAG结合了大型语言模型(LLMs)、知识图谱和个性化PageRank算法,以模拟人类记忆中新皮层和海马的不同角色。通过这种方法,HippoRAG能够在新体验中更深入、更高效地整合知识。我们比较了HippoRAG与现有检索增强生成(RAG)方法在多跳问题回答上的性能,结果表明HippoRAG显著优于现有最先进方法,最高提升了20%。此外,HippoRAG的单步检索在成本和速度上都大大优于迭代检索方法(比如说IRCoT),同时还能处理现有方法无法触及的新类型场景。
哺乳动物大脑经过数百万年的进化,发展出了存储大量世界知识并在不断整合新体验的同时避免灾难性遗忘的能力。然而,尽管大型语言模型(LLMs)取得了令人印象深刻的成就,但它们在预训练后仍然难以有效地整合大量新体验。现有的RAG方法无法帮助LLMs执行跨段落边界整合新知识的任务,因为每个新段落都是孤立编码的。HippoRAG的设计灵感来源于海马记忆索引理论,该理论认为人类的强大上下文记忆依赖于新皮层和海马之间的交互。
HippoRAG的主要亮点包括:
HippoRAG的核心算法包括以下几个关键步骤:
单步检索性能。 HippoRAG在MuSiQue和2WikiMultiHopQA上的表现超过了所有基线,并且在挑战性较小的HotpotQA数据集上达到了可比的性能。
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传
**在多跳问题回答(QA)**基准测试中,HippoRAG在MuSiQue和2WikiMultiHopQA数据集上的表现显著优于现有RAG方法,提升了大约3%到20%。此外,HippoRAG的在线检索过程比现有的迭代检索方法如IRCoT快6到13倍,同时成本降低了10到30倍。
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传
成本与速度评测
HippoRAG作为一种新型的RAG框架,通过模仿人类记忆中新皮层和海马的交互,提供了一种强大的长期记忆解决方案。它在多跳QA任务上展现出卓越的性能,特别是在单步多跳检索和处理新场景方面。尽管HippoRAG在某些方面仍有改进空间,但其目前的表现已经证明了它作为一种有前景的方法,能够推动大型语言模型在理解和整合知识方面的发展。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。