当前位置:   article > 正文

知识图谱与大模型 Part 1:使用大型语言模型自动进行知识图谱构建_大模型构建知识图谱

大模型构建知识图谱

导读

大模型刚火起来的时候, 很多人认为知识图谱没前途了,会被大模型代替,因为知识已经被学到大模型肚子里了。跑了半天后,发现不是那么回事,发现大模型和知识图谱就是两个层面的东西, 从我的角度:

  • 知识图谱更偏加工出来的产品, 这个产品既可以用到其他场景, 也可以反过来提升大模型的准确性

  • 大模型即可以作为工具加工生产知识图谱, 也可以使用知识图谱提升自己的准确性。

阅读本系列将了解如何使用大模型自动构建知识图谱

关注公众号,后台发送"知识图谱"获取更多知识图谱相关文档

如何使用大模型构构建知识图谱也可参见:

Llama3 微调,增强知识图谱关系抽取(附微调数据集和代码)

介绍

知识图谱(Knowledge Graph)是以Graph 形式表示数据的网络。

知识图谱的美妙之处在于它们将概念、事件和实体表示为节点,它们之间的关系表示为边。这些关系决定了节点的上下文,因此可以更好地理解单词的语义,并区分其多种可能的含义。

例如,谷歌的知识图谱支持谷歌搜索,可以区分品牌“苹果”和水果“苹果”。

知识图谱适用于各种领域和应用,包括零售产品推荐、搜索引擎优化、反洗钱倡议和医疗保健,金融场景

然而,知识图谱的使用,也存在非常多的挑战、昂贵和耗时的构建过程,而且很多时候还伴随这大量的人工参与。

经常在数据前,需要人工根据业务,去定义各种本体,属性;边和节点产生后,需要人工进行校验数据的准确性,而且这个过程是需要一直迭代进行。成本非常高。

这一挑战催生了一波新的研究:探索如何自动知识图谱构建。

特别是人们对将大型语言模型(LLMs)如GPT-4整合到构建过程中的兴趣日益增长,因为它们具有出色的语言处理能力。

在本文中,我们将首先简要探讨与知识图谱构建相关的困难。然后,我们将比较知识图谱和LLMs作为知识库。

最后,我们将回顾利用LLMs进行自动知识图谱构建的现有方法。

构建知识图谱的困难点

以往的知识图谱构建方法基于众包或文本挖掘。

像WordNet和ConceptNet这样的知识图谱是通过大量人力构建的,但受限于预定义的关系集。

与此同时,基于文本挖掘的方法从文档中提取知识,但仅限于文本中明确陈述的关系。

这种方法还涉及诸多步骤,如共指消解,命名实体识别等。

这些困难还受到了不同领域或应用构建不同知识图谱的事实的影响。

例如考虑到每个领域中使用的各种概念和术语,所以没有通用的方法来创建知识图谱。

特定领域也提出了自己的挑战。例如,在服务计算社区中,知识图谱在资源管理、个性化推荐和客户理解方面非常有用。

然而,在这种情境下的知识图谱需要来自不同领域的知识和概念,并且构建知识图谱所需的数据既分散又大部分未注释。

这些因素显著增加了制作知识图谱所需的时间、精力和成本。

知识图谱与大型语言模型的比较

知识图谱和LLM都可以被查询以检索知识。

在下图中,知识图谱通过查找相关联的节点来定位答案,而LLM被提示填写[MASK]标记以完成句子。

像GPT-4和BERT这样的LLM最近因其出色的语言理解能力而受到了很多关注。

众所周知,LLM模型数量, 以及使用量, 应用数量每年都在不断增长,并且在大量数据的训练下,使它们拥有了巨大的知识。

许多人可能会转向ChatGPT来提问,而不是在谷歌上搜索。

自然而然地,研究界的下一个问题是探索LLM(如GPT)是否可以取代知识图谱(如谷歌知识图谱)成为主要的知识来源。

进一步的研究表明,尽管拥有更多的基础世界知识,LLM仍然难以回忆关系事实和推断行为和事件之间的关系。

虽然LLM具有许多优势,但LLM也面临挑战,例如:

  1. 幻觉:LLM偶尔会产生令人信服但不正确的信息。相反,知识图谱提供了基于事实数据的结构化和明确的知识。

  2. 有限的推理能力:LLM难以理解和使用支持证据来得出结论,特别是在数值计算或符号推理方面。知识图谱中捕获的关系允许更好的推理能力。

  3. 缺乏领域知识:虽然LLM在大量的通用数据上进行了训练,但它们缺乏来自特定领域数据的知识,如具有特定技术术语的医学或科学报告。与此同时,知识图谱可以针对特定领域进行构建。

  4. 知识过时:LLM的训练成本高昂,并且不经常更新,导致它们的知识随着时间的推移而过时。另一方面,知识图谱具有更简单的更新过程,无需重新训练。

  5. 偏见、隐私和毒性:LLM可能会给出有偏见或冒犯性的回应,而知识图谱通常是由可靠的数据源构建而成,不受这些偏见的影响。

知识图谱不会遇到这些问题,并且表现出更好的一致性、推理能力和可解释性,尽管它们也有自己的一系列局限性。除了之前讨论过的问题外,知识图谱还缺乏LLM从无监督训练过程中获得的灵活性。

合并Knowledge和LLM

因此,已经有许多研究工作旨在合并LLM和知识图谱。

虽然知识图谱具有指导LLM更准确的能力,但LLM可以在构建过程中辅助知识图谱提取知识并提高知识图谱的质量。

有几种方法可以合并这两个概念:

  • 利用LLM辅助自动知识图谱构建:LLM可以从数据中提取知识以填充知识图谱。下面将讨论这种方法的更多细节。

  • 教会LLM从知识图谱中搜索知识:如下图所示,知识图谱可以增强LLM的推理过程,使LLM能够得出更准确的答案。

  • 将它们合并为知识图谱增强的预训练语言模型(KGPLMs):这些方法旨在将知识图谱纳入LLM训练过程中。

使用大型语言模型进行自动知识图谱构建

早期方法

2019年提出的早期方法之一是COMET(或COMmonsEnse Transformers),它使用了经过精细调整的生成式LLM,本例中为GPT,通过生成给定头实体和关系的尾实体来构建知识图。

在下面的图像中给定“seed”和“relation”,COMET生成了“完成”响应,这些响应经过人类评估以评估响应的合理性。

然后可以使用这些种子-关系-完成三元组来形成知识图。例如,“piece”和“machine”可以形成由“PartOf”关系连接的两个节点。

使用 ChatGPT 作为信息提取器

使用 ChatGPT 构建了一个专门针对服务领域的知识图,名为 BEAR,以避免与手动数据标注相关的工作量和成本。

为此,创建了一个特定于该领域的本体,作为知识图的基础,并确定了知识图应该在以后填充的概念和特征。

然后,可以提示 ChatGPT 从非结构化文本数据中提取相关内容和关系,就像下面的图片中一样。随后,自动提取的信息被合并到知识图中以构建它。

使用LLMs进行半自动知识图谱构建

再次利用ChatGPT作为信息提取器,Kommineni等人最近提出使用ChatGPT-3.5。

在他们的知识图谱构建方法中,人类领域专家在两个阶段验证结果,如下所示:

这种方法与以前的方法的区别在于LLMs在这里扮演了更积极的角色。从特定数据集开始,ChatGPT被提示生成能力问题(CQs),这些问题是关于数据的抽象级别的问题。

通过提示ChatGPT再次从CQs中提取概念和关系来创建本体论。

CQs的答案从数据中检索出来,并提供给ChatGPT,指示其提取关键实体、关系和概念,并将它们映射到本体论上以构建知识图谱。

从LLMs中获取知识图谱

本文讨论的最终方法是直接从LLMs中提取信息。

Hao等人认识到,LLMs中存储着大量的知识,这些知识可以用于实际应用。

下图显示了获取LLM知识的步骤。该过程始于一个初始提示和至少两个实体对。然后使用文本释义模型对提示进行释义,并从原始提示中得出修改后的提示。随后,对LLM进行搜索,以找到与这组提示相对应的实体对。

使用搜索和重新评分的方法,提取出最相关的实体对,形成知识图谱,其中实体对作为节点,提示作为关系。

这种方法允许在生成的知识图谱中获得更好的关系质量,因为衍生的关系具有传统构建的知识图谱中看不到的几个特征:

  • 关系可以是复杂的,例如,“A能够,但不擅长,B”。

  • 关系可以涉及超过两个实体,比如,“A可以在C处做B”

有趣的是,使用LLMs构建知识图谱还提供了一种新的方式来可视化和量化LLMs中捕获的知识。

结论

总之,我们讨论了知识图谱和大型语言模型(LLMs)作为知识库的潜力。

知识图谱在捕捉关系方面表现出色,并具有更强的推理能力,但构建起来会比较困难而且且成本高很高。

另一方面,LLMs包含广泛的知识,但容易受到偏见、幻觉和其他问题的影响。

对于精细调整或适应特定领域而言,它们的计算成本也很高。

为了利用这两种方法的优势,知识图谱和LLMs可以以多种方式进行整合。

在本文中,我们专注于使用LLMs来辅助自动知识图谱构建。

特别是,我们回顾了四个例子,包括早期的COMET模型,在BEAR中使用ChatGPT作为信息提取器,以及直接从LLMs中获取知识。

这些方法代表了结合知识图谱和LLMs优势以增强知识表示的一个有前途的路径。

既然大模型现在这么火热,各行各业都在开发搭建属于自己企业的私有化大模型,那么势必会需要大量大模型人才,同时也会带来大批量的岗位?“雷军曾说过:站在风口,猪都能飞起来”可以说大模型这对于我们来说就是一个机会,一个可以改变自身的机会,就看我们能不能抓住了。

那么,我们该如何学习大模型?

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

一、大模型全套的学习路线

学习大型人工智能模型,如GPT-3、BERT或任何其他先进的神经网络模型,需要系统的方法和持续的努力。既然要系统的学习大模型,那么学习路线是必不可少的,下面的这份路线能帮助你快速梳理知识,形成自己的体系。

L1级别:AI大模型时代的华丽登场

L2级别:AI大模型API应用开发工程

L3级别:大模型应用架构进阶实践

L4级别:大模型微调与私有化部署

一般掌握到第四个级别,市场上大多数岗位都是可以胜任,但要还不是天花板,天花板级别要求更加严格,对于算法和实战是非常苛刻的。建议普通人掌握到L4级别即可。

以上的AI大模型学习路线,不知道为什么发出来就有点糊,高清版可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

img

三、大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/我家自动化/article/detail/854656
推荐阅读
相关标签
  

闽ICP备14008679号