论文阅读：Making Large Language Models Perform Better in Knowledge Graph Completion

简介

大语言模型具有强大的文本理解与生成能力。大语言模型(LLM)与知识图谱(KG)的结合是未来大语言模型未来的重要发展方向之一。一方面，大模型凭借其丰富的文本理解和生成能力可以完成知识图谱的构建以及推理和补全，另一方面，知识图谱也可以为大模型提供可信的外部知识。这篇论文着眼于基于大模型的知识图谱补全(LLM4KGC)。讨论了如何将有用的KG结构信息融入到LLMs中，以实现LLMs中的结构感知推理。
进一步提出知识前缀适配器( KoPA )来实现这一目标。KoPA通过知识前缀适配器将结构嵌入转化为文本嵌入空间，并获得若干虚拟知识标记。这种结构嵌入到文本形式的映射为输入三元组提供了辅助信息。
代码：https://github.com/zjukg/KoPA

基本概念

知识图谱(KG)是包含广泛实体和关系的语义网络，它以三元组形式：(头实体、关系、尾实体)对现实世界的知识进行建模和存储。知识图谱中结构化的知识三元组为许多基于Web的自动服务提供了基础，例如推荐系统，问答系统和网络故障分析。

但手动添加或自动提取的KGs往往是不完整的，因为它们仅由观察到的知识组成，导致许多缺失的三元组未被发现。于是催生了知识图谱补全( Knowledge Graph Completion，KGC )，其目的是预测给定KG中缺失的三元组，丰富KGs中包含的语义信息和真实世界知识。

现有的KGC方法可以分为两类：基于嵌入的和预训练语言模型( PLM ) 的方法。
最近，大型语言模型( Large Language Models，LLMs ) 表现出了出色的性能。现有的基于LLM的KGC任务往往使用现有的LLM范式，如零样本推理和指令微调来完成KGC任务。然而，这种方法将KGC任务转化为基于文本的单个三元组的预测。
然而，LLMs对精确和细微的事实性知识记忆不足。此外，知识图谱具有错综复杂的结构信息，如子图结构、关系模式、相关实体/关系等。整合这些结构信息对于LLMs发展对KG的全面理解是不可缺少的。当每个输入提示只包括单输入三元组时，不能为LLMs建立KG结构的意识，并导致结构信息的浪费。
KGLLaMA 通过vanilla instruction tuning的方法迈出了第一步，但对于如何释放LLM和KG自身的优势进行结构感知推理并获得更好的KGC性能，缺乏深入的研究和系统的探索。
由于LLMs在文本生成上具有泛化能力，许多工作试图将非文本模态如图像、音频和视频结合起来，这些模态也被称为多模态LLMs。这些方法通过模态编码器来编码非文本信息，然后将其处理为虚拟文本标记。通过在多模态数据集上的指令调整，将非文本与单词对齐。
如：Drug- Chat提出使用图编码器对药物分子图进行编码，并微调LLM来预测药物相互作用。