当前位置:   article > 正文

图数据库 NebulaGraph 发布了业界首个基于知识图谱的 RAG:基于知识图谱的检索增强生成_图rag

图rag

在信息过载的时代,通过梳理海量数据以提供引人入胜且易于理解的准确搜索结果已经成为一场艰难的战斗。传统的搜索增强技术往往在处理复杂查询和聊天 GPT 等尖端技术带来的高需求时表现不佳。这就是图 RAG 进入的地方——这是由 NebulaGraph 制造的一个改变游戏规则的概念,它承诺彻底改革该领域。

“图RAG” 是一个由 Neo4j 领先的概念。这项技术利用知识图谱与大语言模型(LLMs)相结合,为搜索引擎提供更全面的上下文理解能力。它可以帮助用户以更低的成本获得更智能、更精确的搜索结果。

基于知识图谱的 Neo4j 的革命性图形检索增强生成(RAG)技术,在该领域取得了突破。图形 RAG 将知识图谱与大型语言模型相结合,以提供更具成本效益、智能且精确的搜索结果。Neo4j 能够深度集成诸如 llama index 和 langchain 这样的大型语言模型,成为业界第一个提出图形 RAG 概念的企业。此外,图形 RAG 在矢量数据库集成领域也取得了出色的成绩。

在本文中,我们将介绍图RAG的概念,并将其与其他RAG技术进行比较。 欢迎访问 NeptuneGraph 的网站并尝试演示。

获得准确的搜索结果是一项挑战,尤其是对于复杂的或长尾查询,因为传统搜索引擎依赖于关键字匹配,这通常不能满足用户的实际需求。 传统搜索增强技术的瓶颈在于缺乏训练数据和文本理解能力,使其在生成准确、多样和相关的信息时效率较低。

为了解决这个问题,RAG 应运而生。RAG(检索增强生成)是指通过 RAG 模型提高搜索结果的过程。具体来说,这是一种结合检索和语言生成以提高生成过程的技术。使用 RAG,传统的搜索引擎可以生成更准确、相关性更高的搜索结果。

然而,RAG 技术在训练数据和文本理解方面仍面临挑战。这些挑战包括:

训练数据:RAG 技术在训练和生成模型时需要大量的数据和计算资源,特别是在处理多语言和复杂任务时。文本理解:RAG 需要理解查询的意图,但对于复杂的查询或具有多重意义的查询,RAG 可能会产生歧义或不确定性,从而影响生成的内容的质量。

因此,如何找到更强大的检索增强技术以更有效地获得更符合搜索者期望的搜索结果的问题变得更加紧迫。

图RAG是由NebulaGraph提出的,这是一种基于知识图谱的检索增强技术。它使用知识图谱来显示实体与关系之间的关系,然后使用大型语言模型LLM(大型语言模型)进行检索增强。

正如前一篇博客中提到的,图数据库非常适合通过图形格式组织和连接信息来存储和表达复杂的情境信息。通过使用图技术构建知识图谱以增强上下文学习,用户可以提供更多的语境信息,帮助大语言模型(LLM)更好地理解实体之间的关系,并提高它们的表达和推理能力。

Graph RAG vs. Text2Cypher

图RAG 将知识图谱等同于大规模词汇表,实体和关系对应于单词。这样,在检索过程中,图RAG 可以将实体和关系作为单元进行联合建模,从而更准确地理解查询意图并提供更准确的搜索结果。

在接下来的部分中,我们将探索两个演示,它们提供了 Graph RAG 和 Vector RAG 以及 Text2Cypher 的视觉比较。

下图比较了向量 RAG(向量检索) 和 图形与向量 RAG(增强图形向量检索) 的结果。

左边的结果:向量 RAG 右边的结果:带图的向量 RAG

以《银河护卫队3》的数据集为例。当我们搜索“彼得·奎尔的相关信息”时,传统的检索技术,如向量检索引擎,只提供他身份、剧情和演员等基本信息。然而,借助图RAG增强的搜索结果,我们可以获得关于主角技能、角色目标和身份变化等方面更多的信息。

这个例子强调了图RAG如何有效地弥补传统方法(如嵌入和向量检索)的不足,并提供与查询相关的更深入的知识和信息。通过将知识图谱与大型语言模型相结合,图RAG可以理解实体之间的关系,将知识图谱等同于大规模词汇表并更好地理解复杂查询的意图,从而产生更准确、相关性更高的搜索结果。

Graph RAG vs. Graph + Vector RAG

另一个基于知识图谱的LLM的有趣方法是Text2Cypher,这是一种自然语言生成图形查询。这种方法不依赖于实体子图检索,而是将任务或问题转换为答案导向的图形查询,这基本上与我们通常所说的文本到 SQL 相同。

Text2Cypher 和 图形 RAG 主要在检索机制上有所不同。Text2Cypher 根据知识图谱架构和给定的任务生成图形模式查询,而 (子) 图形 RAG 获取相关子图以提供上下文。它们都有各自的优点,你可以通过下面的演示更直观地了解它们的特点。

左边的结果:Text2Cypher 右边的结果:Graph RAG

从上述演示中,我们可以清楚地看到两种图形查询模式在可视化方面有明显的差异。使用图RAG进行检索时,结果更加全面。用户不仅可以获得基本的介绍性信息,还可以根据关联搜索和语境推断访问一系列结果,如“彼得·奎尔是银河护卫队的领导者”,“这个角色意味着他将在续集中回归”以及对角色个性的洞察。

NebulaGraph 数据库与大型语言模型框架(如 llama index 和 langchain)无缝集成。因此,开发人员可以专注于 LLM 集群调度逻辑和管道设计,而无需处理许多抽象和实现细节,并可以在单个站点生成高质量且成本低廉的企业级大型语言模型应用程序。

图RAG 的出现为大规模处理和检索信息带来了突破。通过在 LLM 堆栈中融合知识图谱和图形存储,图RAG 提供了前所未有的上下文学习水平。借助 NNG,构建图RAG 变得非常简单,只需三行代码即可完成,几乎不需要努力。甚至更复杂的RAG 逻辑,如带图的向量RAG,也可以轻松集成。

随着图技术与深度学习算法的不断发展,基于图的关系型知识表示法在数据处理与检索中的应用将越来越广泛。我们邀请您来试用我们的云原生图数据库——星河图数据库,并轻松构建您的知识图谱应用!

声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:【wpsshop博客】
推荐阅读
相关标签
  

闽ICP备14008679号