HippoRAG：为大型语言模型赋予人类记忆动态 复制大脑，更好地整合和检索知识

哺乳动物的大脑可以存储大量信息。LLM也能做到这一点，因为他们可以在自己的参数中保存大量知识。与LLM不同的是，大脑还能不断整合新的经验，而不会丢失以前获得的知识。

为了在一定程度上限制这个问题，有一些解决方案，例如检索增强生成 (RAG)。RAG 是一种外部存储器，允许将新信息呈现给模型。尽管 RAG 在预训练时具有静态和结晶的记忆，但 LLM 仍然如此。不过，由于 RAG，它可以检索晚于模型训练日期的信息。

RAG 的问题之一是，它会查找文本块并将其作为模型的上下文呈现。这无法有效地整合知识，尤其是当这些新知识跨越段落边界时。事实上，每个块都有精确的边界，但在长文档中，一些相关信息可能在另一个块中而找不到。这个问题对于医学、法律和科学等重要领域尤其敏感。事实上，对于许多现实世界的任务，人们必须找到并整合可能分散在语料库中的大量信息。这可以通过多步骤过程部分解决，在这些过程中，找到文档并进行推理

传统方法的问题在于，它们很难找到未在同一块中提及的两个实体之间的联系。诸如“谁是 X，可以反驳 Y 的理论？”这样的问题很难回答，因为可能有多个块讨论它，但其主题是隐含的。此外，多步推理的成本很高。

在人类大脑中，人类长期记忆理论似乎表明了它如何解决这个问题。根据这一理论，我们的大脑使用一种基于上下文的方法来更新记忆。概念的当前表示将位于大脑皮层中，但随后这些概念将在 C 形海马体中被索引。海马体索引将是一组相互连接的索引，它们将指示大脑皮层中的哪些记忆单元代表某个记忆以及它们如何相互关联。