利用AI大模型，将任何文本语料转化为知识图谱，可本地运行！_ai生成知识图谱

几个月前，基于知识的问答（KBQA）还是一个新奇事物。

现在，对于任何AI爱好者来说，带检索增强生成（RAG）的KBQA就像小菜一碟。看到自然语言处理（NLP）的可能性领域由于大型语言模型（LLMs）的发展而如此迅速扩展，真是令人着迷。

而且，它每天都在变得更好。

在我上一篇文章中，我分享了一种递归RAG方法，用于实现具有多跳推理的问答，以回答基于大量文本语料库的复杂查询。

很多人尝试了这种方法并发送了他们的反馈。感谢大家的反馈。自那以后，我整理了这些反馈，并对代码进行了一些改进，以解决原始实现的问题。我计划写一篇单独的文章来讨论。

在这篇文章中，我想分享另一个想法，当与递归RAG结合使用时，它可能有助于创建一个超级研究代理。

这个想法源于我对较小LLMs进行递归RAG的实验，以及我在Medium上读到的其他想法——特别是知识图谱增强生成。

摘 要

知识图谱（KG）或任何图谱由节点和边组成。知识图谱的每个节点代表一个概念，每条边是这样一对概念之间的关系。

在这篇文章中，我将分享一种将任何文本语料库转换成概念图的方法。我在这里将“概念图”（GC）一词与知识图谱这个术语交替使用，以更好地描述我在这里演示的内容。

我在这个实现中使用的所有组件都可以在本地设置，因此这个项目可以轻松地在个人机器上运行。我在这里采用了无GPT方法，因为我相信较小的开源模型。

我正在使用出色的Mistral 7B Openorca instruct和Zephyr模型。这些模型可以通过Ollama在本地设置。

（编者注：Mistral 7B是一个基于GPT架构的大型语言模型，专门优化以理解和执行用户指令，适用于多种自然语言处理任务）

像Neo4j这样的数据库使得存储和检索图形数据变得容易。在这里，我使用内存中的Pandas数据框和NetworkX Python库，以保持简单。

我们的目标是将任何文本语料库转换成概念图（GC）并像本文的精美横幅图像一样进行可视化。我们甚至将通过移动节点和边缘、放大和缩小以及改变图的物理特性来与网络图进行交互，以满足我们的心愿。

但首先，让我们深入了解知识图谱的基本概念以及我们为什么需要它们。如果你已经熟悉这个概念，请跳过下一节。

知识图谱

考虑以下文本：

玛丽有一只小羊羔，
你以前听说过这个故事；
但你知道她传递了她的盘子，
又多吃了一点！

（我希望孩子们没有读到这个声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/寸_铁/article/detail/878562