新KG视点 | Jeff Pan、陈矫彦等——大语言模型与知识图谱的机遇与挑战

OpenKG

大模型专辑

导读 知识图谱和大型语言模型都是用来表示和处理知识的手段。大模型补足了理解语言的能力，知识图谱则丰富了表示知识的方式，两者的深度结合必将为人工智能提供更为全面、可靠、可控的知识处理方法。在这一背景下，OpenKG组织新KG视点系列文章——“大模型专辑”，不定期邀请业内专家对知识图谱与大模型的融合之道展开深入探讨。本期邀请到爱丁堡大学Jeff Pan教授、曼彻斯特大学陈矫彦研究员、浙江大学张文研究员、山西大学闫智超博士等分享的综述论文：“大语言模型与知识图谱的机遇与挑战”。

文章作者 | Jeff Pan（爱丁堡大学终身教授）、陈矫彦（曼彻斯特大学）、张文（浙江大学）、闫智超（山西大学）等

笔记整理 | 邓鸿杰

内容审定 | 陈华钧

论文链接 | https://arxiv.org/abs/2308.06374

01

引言

大语言模型（Large Language Models, LLMs）已经席卷了知识表示（Knowledge Representation, KR）和整个世界，并且在一些自然语言处理任务上达到了和人类相媲美的性能。基于此，人们逐渐接受了这种存在于大语言模型中“参数化”的知识，也宣告了知识计算时代的到来。知识计算时代,KR中的推理任务被扩展为基于知识表示的知识计算任务。

这是知识表示领域迈出的一大步。长期以来，学者们将研究重点放在显式知识上，包括非结构化知识，如文本，和结构化知识，如知识图谱（Knowledge Graphs, KGs）。尤其是在二十一世纪初期RDF和OWL两个标准的出现，使得知识图谱成为一种主流的大规模知识库，同时支持基于逻辑的图推理和基于图的学习。

大语言模型作为知识表示的一个发展拐点，将研究人员的目光从显示知识转向到了显示知识和参数化知识混合的方法上。作为显示知识代表的知识图谱，在参数化的语言模型背景下受到了广泛的研究，包括使用知识图谱增强BERT、RoBERTa，以及最近出现的生成式语言模型GPT等。相反，使用大语言模型反向去构造和完善知识图谱也进行了大量的探索,如使用大语言模型来进行知识图谱的补全。

本文深度地探讨了大语言模型出现后，在知识表示从显示表示迈向混合表示的过程中有争议的一些话题，并介绍了知识图谱和大语言模型结合的最新技术以及未来的机遇与挑战。

02

普遍争议的主题

显式知识和“参数”知识的结合使用在知识计算领域引起了多个讨论，本文将从支持者和怀疑者两个方面对一些共性问题进行讨论。

1.1 知识表示与推理

知识图谱提供了具有明确关系的知识的结构化表示，支持推理和推断。怀疑者认为大语言模型中“参数化”的知识是基于统计的，并不是真正的理解和推理，并且由于缺乏明确的知识表征，模型会生成看似合理但却荒谬的结果。另一方面，知识图谱和大语言模型的获得都需要极高的成本，但后者更加容易适配下游的任务，并将AI带入到了世界舞台的中央，因此参数化知识并不是大语言的唯一目标。综上，在知识表示和知识计算两个任务使用显式知识和“参数化”知识的比较中，知识表示更加偏向表达性和判定性的权衡，而知识计算更加偏向精确率和召回率之间的权衡。

1.2 高精度方法

知识图谱的成功在于其可以精确地提供关于实体的事实信息，如YAGO，可以提供9