Unifying Large Language Models and Knowledge Graphs: A Roadmap综述笔记-入门-知识图谱KG-大模型LLM

论文信息

标题：Unifying Large Language Models and Knowledge Graphs: A Roadmap

作者：Shirui Pan

摘要

LLMs，例如chatGPT和GPT4，由于其涌现能力和泛化性，对自然语言理解和人工智能领域产生了新的冲击。

然而，LLMs是一个黑箱模型，往往缺乏捕获和获得事实知识。相反，知识图谱，例如维基百科等，是有结构模型。存储着丰富的事实知识。KGs可以通过提供额外的知识去增强大语言模型的推理和解释性。同时，知识图谱也很难去自然构造和进化，对于现有的知识图谱方法来说，生成新的事实和表示未知数据是一个挑战。因此，统一LLMs和KG，同时利用他们的优点是一种补充。

在这篇文章中，我们提出了统一LLMs和KG的路线图。我们的路线图包含三个通用框架：

1. KG-enhanced LLMs：在LLMs的预训练和推理阶段，融入KG，增强对LLMs学到的知识的理解。
2. LLM-augmented KGs：利用LLMs执行知识图谱的各项任务，例如嵌入，补全，构造，图-文本生成 以及问答系统。
3. Synergized LLMs+KGs：LLMs和KGs发挥平等作用，相互合作，以数据和知识驱动的双向推理方式增强LLMs和KGs的能力
   我们在路线图中回顾和总结了这三个框架内的现有成果，并指出了它们未来的研究方向。

背景

KGs

优点
  - 结构化
  - 准确率
  - 确定性
  - 可解释性
  - 领域专业知识
 
 缺点
 - 不够完整
 - 语言理解能力匮乏
 - 对没见过的数据泛化性差

LLMs

优点
  - 通用知识
  - 语言处理
  - 泛化性强

缺点
  - 隐式知识（implicit）
  - 幻觉（Hallucination）
  - 犹豫（indecisiveness）
  - 缺乏领域/新知识

KGs中现有方法的不足
  - 不能对新事物或关系进行有效处理
  - 忽略大量的文本信息
  - 泛化能力较差

LLM可以帮助KG更好的利用和理解文本信息。

大模型分类

知识图谱分类

研究内容

LLMs和KGs统一的三种通用框架：

• KG-enhanced LLMs
• LLM-augmented KGs
• Synergized LLMs + KGs

KG-enhanced LLMs

1. 在预训练阶段，融入KGs
2. 在推理阶段，融入KGs
3. 利用KGs解释事实和LLMs的推理过程

LLM-augmented KGs

将LLMs作为 text encoder用于知识图谱的相关任务。

• take advantage of LLMs to process the textual corpus in the KGs and then use the representations of the text to enrich KGs representation
• 借助LLMs提取关系和实体。
• 设计一个KG promot，将结构化的KGs高效地转换成LLMs可以理解的格式，从而LLMs可以直接作用于KG相关的任务。

Synergized LLMs + KGs

包含四个layer：

• Date
      - LLMs和KGs分别处理文本和结构化数据以及多模态数据
• Synergized Model
• Technique
• Application
      - 搜索引擎、推荐系统、AI助手

KG-ENHANCED LLMS

KG-enhanced LLM Pre-training

• Integrating KGs into training objective（将知识图谱整合到训练目标）
      - 利用知识图谱结果分配mask的概率
          - 使用知识图谱来选择实体进行遮蔽
          - 使用知识图谱获取遮蔽实体的干扰项
      - 实体预测 （预训练任务）
      - 平衡token-level和entity-level训练比重
      - 将文本和相关联的实体一起作为输入，以文本和实体的对齐作为训练目标
• Integrating KGs into LLM inputs（将知识图谱整合到输入中）
• Integrating KGs into additional fusion modules.（将知识图谱集成到额外的融合模块中）

局限性：更新数据就必须得重新预训练

KG-enhanced LLM inference

• Dynamic Knowledge Fusion
      - 加强text和entity的interaction
• Retrieval-Augmented Knowledge Fusion    
      - 检索与文本相关得到的KGs（通过无参数的模型），作为隐藏变量用于输出生成器。
          - 在生成过程的不同步骤使用不同的检索文档作为条件，比仅在整个生成过程中使用单个文档进行引导效果更好

KG-enhanced LLM Interpretability

• KGs for LLM Probing

探索和验证存储在LLMs的知识。

LAMA：借助prompt将知识图谱中的facts转换成陈述句，然后利用LLMs来预测缺失的实体，用于评估。

LPAQA：LAMA中的promot是人为设定的，LPAQA提出了一种自动生成prompts的方法。

后续的研究都是改进prompt，整体方法都是基于LAMA。

也有实验研究出LLMs对于不常用的知识存在记忆困难，扩展模型规模也没有进行改进。

• KGs for LLM Analysis

aims to answer the following questions such as “how do LLMs generate the results?”, and “how do the function and structure work in LLMs?”.

KagNet  and QA-GNN：在推理的每一步骤中都通过知识图谱对语言模型（LLMs）生成的结果进行关联（grounding）。

从KGs中抽取事实进行因果启发式分析，结果表明LLMs模型更倾向于使用位置封闭的词汇模式来填补缺失的事实，而不是依赖于知识相关的词汇。

因果启发式分析 causal-inspired analysis

LLM-AUGMENTED FOR KGS

integrate LLMs for：

• embedding
• completion
• construction
• KG-to-text generation
• question answering

LLM-augmented KG Embedding

• adopt LLMs to enrich representations of KGs by encoding the textual descriptions of entities and relations（利用LLM对文本进行编码）

Pretrain-KGE：

KEPLER： 提出一个统一的模型用于知识嵌入和预训练表示。

Nayyeri et al.： 使用LLMs去生成world-level, sentence-level, and document-level的表示，将其与图结构结合，然后借助数学方法将它们融合成一个统一的向量。

Huang et al.： 使用LLMs和图像、图嵌入去学习多模态知识图谱嵌入。

CoDEx： 借助LLMs提出一个新的损失函数，通过考虑文本信息来指导KGE模型测量三元组的可能性。

LLMs for joint Text and KG Embedding

上面的方法是借助LLMs进行编码，然后用专门的KGE模型去嵌入。

这个方法是直接用LLMs融合图结构和文本信息到嵌入空间。

Instead of using KGE model to consider graph structure, another line of methods directly employs LLMs to incorporate both the graph structure and textual information into the embedding space simultaneously. A

kNN-KGE： 将一个三元组转换成句子，然后将尾实体mask，放进LLM，预测尾实体。训练后，LLMs中相应的标记表示被用作实体和关系的嵌入。

LMKE： 借助LLMs提出一种对比学习，用于改善KGE的嵌入生成学习。

LambdaKG： 为了更好的捕获图结构，对单跳的邻居实体进行抽样。拼接token，作为一个句子，放进LLM。

LLM-augmented KG Completion

LLM as Encoders (PaE)

使用encoder-only LLMs对实体和文本信息进行编码，然后将编码结果输入到预测头，预测三元组的合理性。预测头可以是MLP或者传统的KG评分函数。

a.Joint Encoding

KG-BERT： 将三元组转换成文本，用LLM编码，最后一层被送入分类器，预测三元组的可能性。

MTL-KGC： 融入额外的辅助任务用于模型训练，如关系预测（PR）相关性排名（RR）。

PKGC： 将三元组及其支持信息转换为具有预定义模板的自然语言句子来评估三元组 (h, r, t) 的有效性。这些句子被LLM处理用于二分类。支持信息通过verbalizing function获得。

LASS： 提出了两种嵌入：语义嵌入和结构嵌入。

b.MLM Encoding（Masked Language Model ，MLM）

MEMKGC： 借用LLM去预测mask的尾实体。同时，引入了多任务学习的概念，其中包括对实体的预测和基于实体文本描述的超类别（super-class）的预测。

OpenWorld KGC： 定义了两个sequential MLM-based modules
                                    - Entity Description Prediction (EDP) 
                                    >  predicts a corresponding entity with a given textual description
                                    - Incomplete Triple Prediction (ITP)
                                    > predicts a plausible entity for a given incomplete triple (h, r, ?)

c.Separated Encoding

将三元组(h,r,t)分成(h,r)和t。然后分别放进LLM，最后隐藏层预测这两部分的关系。

StAR ： 对文本使用Siamese-style文本编码器，将它们编码成独立的上下文表示。

• LLM as Generators (PaG)

SimKGC： 利用Siamese文本编码器，在编码过程中采用了对比学习。计算三元组的编码表示和正负样本之间的相似性。

CSPromp-KG： 采用参数高效的提示学习（parameter-efficient prompt learning）来避免过度拟合文本信息

“Parameter-efficient prompt learning” 意指一种在模型参数相对较少的情况下，有效学习提示信息的方法。

LP-BERT： 结合了MLM编码（Masked Language Model Encoding）和Separated Encoding两种策略。分为预训练和微调两个阶段。在预训练阶段使用MLM机制，在微调阶段对每部分编码信息使用对比学习策略。

LLM as Generators (PaG)

GenKGC： 提出了一种关系引导的演示技术，该技术包括具有相同关系的三元组，以促进模型的学习过程。

KGT5： 采用T5的简单小架构，不采用预训练的参数，而是随机初始化。

KG-S2S： 通过引入一个额外的元素重新制定标准三元组 KG 事实，形成一个四元组 (h, r, t, m)，其中 m 表示额外的“condition”元素。可以用于各种KG。

AutoKG： 对于闭源的LLM，AutoKG采用prompts，提供头实体和关系，预测尾实体。

Comparison between PaE and PaG

PaE：

• 在LLMs上额外增加一个prediction head
• 冻结LLMs参数，只需训练预测头
• 在推理阶段，需要额外计算score，输出得分最高的实体
• 不能生成未出现过的实体

PaG：

• 可以直接使用
• 直接生成尾实体，效率高；
• 能生成没出现过的实体
• 如何设计好的prompt

LLM-augmented KG Construction

包含以下步骤：

1. entity discovery
2. coreference resolution
3. relation extraction
4. end-to-end knowledge graph construction
5. distilling knowledge graphs from LLMs.

1-3是常规步骤。

Entity Discovery

从非结构化的数据中发现并提取实体。

---

Named Entity Recognition (命名实体识别，NER)： identifying and tagging named entities in text data with their positions and classifications.

根据跨度将NER分为三个子任务：

• Flat NER：给每一个token分配一个独立的label
• Nested NER：识别的命名实体跨度可以相互包含，形成嵌套结构。
      - span-based method：列举所有可能的候选跨度，并将它们分类为实体类型（包括一个非实体类型）
      - Parsing-based method：揭示了嵌套命名实体识别（NER）和成分句法分析任务之间的相似性（预测嵌套和不重叠的跨度），将成分句法分析的见解整合到嵌套NER中。
• Discontinuous NER：命名实体跨度是不连续的

GenerativeNER： 通过序列生成机制解决不同NER子任务

uses a sequence-to-sequence LLM with a pointer mechanism to generate an entity sequence

指针机制（Pointer Mechanism）: 一种在序列生成任务中的注意力机制的变体，它允许模型直接指向输入序列中的某个位置，而不是通过生成固定词汇表中的词来输出。即：输出中的某个元素是输入序列中某个位置的元素。

Entity Typing（ET）和命名实体识别（NER）是两个相关但不同的任务。

• NER 任务的目标是在文本中识别和分类具有特定意义的命名实体
• ET 任务的目标是给定文本中的实体赋予相应的类型标签，而不仅仅是确定它们的边界。
• ET 需要 NER 的结果来确定实体的存在

---

Entity Typing (ET)： 通过利用语言模型对提及、上下文和类型进行编码，为给定上下文中的实体提供更为详细和精细的类型信息。
 
LDET： 用ELMo进行嵌入；LSTM进行序列编码

BOX4Types：提出type dependency的重要性，用BERT来表示超矩形 (box) 空间中的隐藏向量和每种类型。

LRN： 考虑标签之间的内在和外在联系。使用BERT对上下文和实体进行编码，然后对输出去嵌入进行演绎和归纳推理。

MLMET： 为BERT MLM构建输入样本，使用[mask]标签来预测类型标签。

LITE： 将ET视为文本推理任务。

---

Entity Linking (EL)： 实体消歧。将文本中出现的实体提及与知识图谱中相应的实体进行链接。

ELQ： 使用一种快速的双编码器（biencoder）架构，在一次运行中联合执行提及检测（mention detection）和链接（linking），以支持下游的问答系统。

GENRE： 将实体链接问题的框架从向量空间匹配转变为一个序列到序列（sequence-to-sequence）问题。

传统上，一些实体链接模型使用向量空间匹配的方法，其中实体提及和知识库中的实体都被嵌入到向量空间中，然后通过测量它们之间的相似性来进行匹配。

Coreference Resolution（CR）

找到文本中相同实体或事件的所有表达式（即mentions）。

a.Within-document CR

b.Cross-document CR

Relation Extraction（RE）

a.Sentence-level RE

Curriculum-RE:：在训练过程中逐渐增加数据集的难度。

b.Document-level RE (DocRE)

End-to-End KG Construction

使用两个大型语言模型（LLMs）来构建知识图谱（KGs）。

build KGs from raw text, which contains two LLMs powered components. They first finetune a LLM on named entity recognition tasks to make it capable of recognizing entities in raw text. Then, they propose another “2-model BERT” for solving the relation extraction task, which contains two BERT-based classifiers. The first classifier learns the relation class whereas the second binary classifier learns the direction of the relations between the two entities. The predicted triples and relations are then used to construct the KG.

利用一个较小的语言模型来纠正由一个较大的语言模型生成的知识图谱

PiVE [165] proposes a prompting with an iterative verification framework that utilizes a smaller LLM like T5 to correct the errors in KGs generated by a larger LLM (e.g., ChatGPT).

Distilling Knowledge Graphs from LLMs

LLM-augmented KG-to-text Generation

目标：

generate high-quality texts that accurately and consistently describe the input knowledge graph information

问题：

insufficient training and poor generation quality.

方法

• leverage knowledge from LLMs
• construct large-scale weakly-supervised KG-text corpus

leverage knowledge from LLMs

缺点：不能融合KGs中的图语义信息，只能利用LLMs的知识来生成实体之间的关系，并生成文本。

Constructing large weakly KG-text aligned Corpus

Jin et al. [172] propose a 1.3M unsupervised KG-to-graph training data from Wikipedia

Jin et al. [172] propose a 1.3M unsupervised KG-to-graph training data from Wikipedia

LLM-augmented KG Question Answering

目标：

to find answers to natural language questions based on the structured facts stored in knowledge graphs

难点：

retrieve related facts and extend the reasoning advantage of KGs to QA

LLMs as Entity/relation Extractors

identify entities and relationships mentioned in natural language questions and retrieve related facts in KGs

使用LLMs作为关系预测的分类器

Lukovnikov et al. are the first to utilize LLMs as classifiers for relation prediction

使用LLMs检测实体和关系，然后在KG中使用提取的entity-relation pairs查询答案

adopt LLMs to detect mentioned entities and relations. Then, they query the answer in KGs using the extracted entity-relation pairs.

LLMs as Answer Reasoners

to reason over the retrieved facts and generate answers

LLMs直接输出答案

concatenates the retrieved facts with questions and candidate answers,where a denotes candidate answers. Then, it feeds them into LLMs to predict answer scores.

SYNERGIZED LLMS + KGS

Knowledge Representation

将LLMs中的知识和KGs中的知识对齐。

align the knowledge in the text corpus and KGs to represent them in a unified way.

Reasoning

To take advantage of both LLMs and KGs, researchers synergize LLMs and KGs to perform reasoning on various applications.

FUTURE DIRECTIONS

KGs for Hallucination Detection in LLMs

combine LLMs and KGs to achieve a generalized fact-checking model that can detect hallucinations across domains

KGs for Editing Knowledge in LLMs

update their internal knowledge updated as real-world situations change.

KGs for Black-box LLMs Knowledge Injection

how to enable effective knowledge injection for black-box LLMs is still an open question for us to explore

many state-of-the-art large LLMs (e.g., ChatGPT) only provide APIs for users and developers to access, making themselves black-box to the public.

Multi-Modal LLMs for KGs

effectively leveraging representations from multiple modalities would be a significant challenge for future research in KGs.

bridging the gap between multi-modal LLMs and KG structure remains a crucial challenge in this field, demanding further investigation and advancements.

LLMs for Understanding KG Structure

the scale of the KGs makes it impossible to linearize the whole KGs as input.

develop LLMs that can directly understand the KG structure and reason over it.

Synergized LLMs and KGs for Birectional Reasoning

By combining their capabilities, we can create a powerful system that benefits from the contextual understanding of LLMs and the structured knowledge representation of KGs.