尽管大型语言模型（LLM）在知识密集型任务上具有竞争力，但在记忆所有世界知识（尤其是长尾知识）方面仍然存在局限性。在本文中，我们研究了知识图谱增强语言模型方法，用于解决需要丰富世界知识的知识图谱问答（KGQA）任务。现有的工作表明，检索KG知识，以提高LLM提示可以显着提高LLM在KGQA的性能。然而，这些方法缺乏KG知识的良好形式的语言化，即，它们忽略了KG表示和文本表示之间的差距。为此，本文提出了一个对答案敏感的KG-to-Text的方法，可以将KG知识转化为对KGQA最有用的文本化陈述。基于这种方法，我们提出了一个KG-to-Text增强的LLM框架来解决KGQA任务。对几个KGQA基准的实验表明，所提出的KG-to-Text增强LLMs方法在答案的准确性和知识陈述的有用性方面优于以前的KG增强的 LLMs方法。

1 介绍

1.1 研究背景--存在的问题

大型语言模型（LLM）因其在各种应用中的卓越能力而在自然语言处理中越来越受欢迎。尽管LLM在zero-shot场景中表现出了卓越的能力，但它们在一些知识密集型任务上的表现还不够令人满意。这表明LLM中的巨大参数无法存储世界上所有的知识。LLM在回答问题时仍然存在幻觉和事实不准确等问题。

前人工作：(引入外部知识来增强语言模型)

在广泛的语料库上对 LLM 进行持续的预训练。然而，这种方法需要大量的文本数据、计算资源和时间投入。
利用外部知识（如知识图和网络内容）来显式提高LLM在下游任务中的性能。这种方法被用来解决模型在事实知识方面的不足。受此启发，其他通过在问题前添加与问题相关的事实信息，构建了增强知识提示，以更直接的方式丰富LLMs的知识。尽管这种方法被证明是成功且经济高效的，但它忽视了知识表示的重要性。

1.2 创新点--本文工作

总结两种知识表示格式：三元组形式文本和自由形式文本。三元组形式文本通过简单的线性连接，将其转换为结构化文本。自由形式文本则根据KG-to-Text方法将三元组转换为语义一致的文本描述。

提出Retrieve-Rewrite-Answer，一种增强型KG-to-Text的LLMs框架，用于知识图谱问答（KGQA）。与先前的KG增强LLMs框架相比，框架中最显著的创新在于rewrite模块。该模块使用经过微调的LLMs作为KG-to-Text模型，将检索到的三元组转换为对KGQA最具信息量的良好文本化语句。该框架的核心在于任务驱动的KG-to-Text方法。

为了解决KG-to-Text语料库标注不足的问题，设计了一种自动的KG-to-Text语料库生成方法。提取与问题相关的子图，并利用ChatGPT作为语料库生成的工具。基于问答型LLMs的反馈，我们生成对答案敏感的知识描述，用于构建KG-to-Text标记数据。我们在生成的语料库上微调了几个开源LLM，并研究了不同LLM生成的文本知识对KGQA的影响。
在四个知识图谱问答（KGQA）基准上评估了本文框架。实验结果显示，本文的框架在几个LLMs上优于先前的KG增强方法，证明了其有效性。此外，还研究了不同知识表示格式对KGQA的影响，并证明了本文框架产生的知识最有益。

2 相关工作

2.1 KG-Augmented LLM for KGQA

近期的努力旨在利用知识图谱提升LLMs在KGQA上的能力，在这些研究中，从知识图谱中提取与问题相关的三元组，并利用线性表达或现成的KG-to-Text模型等技术将其转换为文本格式。通过预定义的模板，将三元组和问题的文本表示转换为知识增强型提示。然后将该提示输入到问答型LLMs中，以生成更可靠的答案。但它们忽视了知识表示格式对LLMs在KGQA上性能的影响。

2.2 KG-to-Text

最近研究可以分为两种主要方法：

基于图神经网络（GNNs）:为了在编码过程中保留子图的结构信息，研究人员致力于设计更复杂的编码器以获得增强的子图表示。一些工作已经开发了基于GNNs的图结构编码器。然而，GNN受到局部处理性质的限制，因为它们基于相邻节点的特征迭代地计算节点表示。为了克服这一限制，另一些工作采用了基于Transformer架构的方法来设计编码器。这种方法允许在图中的任意两个节点之间建立连接，从而解决了GNNs的局部处理限制。
基于预训练语言模型（PLMs）：随着像BART 、T5 和GPT这样的大规模生成式PLMs的发展，最近的工作将这些模型应用于KG-to-Text，将其建模为一个端到端的生成任务。这些研究涉及对模型架构的修改和引入预训练任务，以增强提取结构信息的能力。我们采用第二种方法，对KG-to-Text语料库上的开源LLMs进行微调。

3 方法

3.1 Retrieve-Rewrite-Answer

如图所示，Retrieve-Rewrite-Answer框架包含三个步骤：子图检索、KG-to-Text和知识文本增强推理。

3.1.1 Retrieve

Subgraph Retrieval（子图检索）:包括三个步骤：跳数预测、关系路径预测和元组采样.

Hop Prediction（跳数预测）:该步骤的目的是预测问题的跳数，用于预测下一步的关系路径。将跳数预测建模为基于PLM的分类任务。给定问题
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/很楠不爱3/article/detail/349408