如何将任何文本转换为概念图_如何将任何文本转换为图谱

一种使用Mistral 7B将任何文本语料库转换为知识图谱的方法

一个几个月前，基于知识的 QnA （KBQA） 还是一个新奇事物。现在，具有检索增强生成 （RAG） 的 KBQA 对于任何 AI 爱好者来说都是小菜一碟。有趣的是，由于LLM的出现，NLP中的可能性领域如何迅速扩展。而且情况一天比一天好。

在我的上一篇文章中，我分享了一种递归 RAG 方法，该方法通过多跃点推理实现 QnA，以回答基于大量文本语料库的复杂查询。

很多人都尝试过并发送了他们的反馈。感谢大家的反馈。此后，我整理了这些贡献，并对代码进行了一些改进，以解决原始实现中的一些问题。我打算写一篇关于它的单独文章。

在这篇文章中，我想分享另一个想法，当与递归RAG结合使用时，它可能有助于创建一个超级研究代理。这个想法来自我用较小的 LLM 对递归 RAG 的实验，以及我在 Medium 上读到的其他一些想法——特别是知识图谱增强生成。

抽象

知识图谱 （KG） 或任何图谱由节点和边组成。KG的每个节点代表一个概念，每个边都是一对这样的概念之间的关系。在本文中，我将分享一种将任何文本语料库转换为概念图的方法。我将术语“概念图”（GC）与术语KG互换使用，以更好地描述我在这里演示的内容。

我在此实现中使用的所有组件都可以在本地设置，因此可以在个人计算机上轻松运行此项目。我在这里采用了无 GPT 方法，因为我相信较小的开源模型。我正在使用出色的 Mistral 7B Openorca 指示和 Zephyr 模型。这些模型可以在本地使用 Ollama 进行设置。

像 Neo4j 这样的数据库使存储和检索图形数据变得容易。在这里，我使用内存中的 Pandas Dataframes 和 NetworkX Python 库来简化操作。

我们的目标是将任何文本语料库转换为概念图（GC），并将其可视化，就像本文中美丽的横幅图像一样。我们甚至可以通过移动节点和边缘、放大和缩小来与网络图进行交互，并根据我们心愿改变图的物理特性。这是 Github 页面链接，显示了我们正在构建的结果。

rahulnyk.github.io/knowledge_graph/

但首先，让我们深入研究 KG 的基本概念以及我们为什么需要它们。如果您已经熟悉这个概念，请随时跳过下一节。

知识图谱

请看下面的经文。

玛丽有一只小羊羔，
你以前听说过这个故事;
但是你知道吗，她通过了她的盘子，
并且多了一点！

（我希望孩子们没有读到这个