赞
踩
在人工智能领域,特别是自然语言处理(NLP)中,大型语言模型(LLMs)的长期记忆能力一直是研究的热点和难点。人类大脑能够在不断变化的环境中存储和更新大量知识,而现有的LLMs在预训练后整合新经验时仍面临挑战。为了解决这一问题,本文介绍了HippoRAG,这是一种受人类长期记忆中的海马体索引理论启发的新颖检索框架,旨在实现更深层次、更高效的知识整合。
HippoRAG 的设计灵感来自海马记忆索引理论,该理论指出海马体在大脑中负责快速索引和存储新的经验和知识,而新皮层则负责长期存储和稳定化这些信息。该理论认为,人类的长期记忆由模式分离和模式完成两个过程协同工作:模式分离确保不同感知经验的表示是独特的,而模式完成则从部分刺激中检索完整的记忆。
HippoRAG 的核心创新基于海马体记忆索引理论,其具体方法和步骤如下:
HippoRAG的离线索引阶段类似于记忆编码过程,使用一个指令调整的大型语言模型(LLM)作为人工新皮层,通过开放信息提取(OpenIE)从检索语料库中的篇章中提取知识图谱(KG)三元组。这个过程提取出篇章中的显著信号作为离散名词短语,而不是密集的向量表示,从而实现更细粒度的模式分离。
在线检索阶段,HippoRAG模仿人脑的记忆检索过程。LLM基于新皮层从查询中提取一组显著的命名实体,这些命名实体与KG中的节点基于检索编码器确定的相似性相连。选定的查询节点成为部分线索,HippoRAG的合成海马体执行模式完成,通过个性化PageRank(PPR)算法在KG上运行,使用查询概念作为种子,整合跨篇章的信息进行检索。
HippoRAG作为一种新型的LLM长期记忆框架,通过模仿人类大脑的记忆机制,展示了在多跳问答任务中的潜力。
论文题目:HippoRAG: Neurobiologically Inspired Long-Term Memory for Large Language Models
论文链接:https://arxiv.org/pdf/2405.14831
PS: 欢迎大家扫码关注公众号_,我们一起在AI的世界中探索前行,期待共同进步!
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。