超越幻觉：新型RoG方法助力AI更准确理解世界 REASONING ON GRAPHS: FAITHFUL AND INTERPRETABLE LARGE LANGUAGE MODEL REASONI

超越幻觉：新型RoG方法助力AI更准确理解世界

引言：探讨大型语言模型(LLMs)在复杂任务中的推理能力及其局限性

在近年来的自然语言处理(NLP)领域，大型语言模型（LLMs）已经表现出在处理复杂任务时的卓越推理能力。这些模型通过生成计划并逐步执行，将复杂的推理任务分解为一系列子任务，从而解决问题。然而，LLMs在推理过程中存在知识更新不及时和幻觉问题，这些问题可能导致错误的推理过程，降低了模型的性能和可信度。在高风险场景中，如法律判断和医疗诊断，这些局限性尤为突出。

为了解决这些问题，研究者们开始将知识图谱（KGs）整合到LLMs中，以提高其推理能力。知识图谱以结构化的格式捕获大量事实知识，为推理提供了可靠的知识来源。然而，现有的基于KGs的LLMs推理方法仅将KGs视为事实知识库，忽视了它们的结构信息对推理的重要性。例如，关系路径——一系列关系的序列，可以用来回答问题“贾斯汀·比伯的兄弟是谁？”。因此，使LLMs能够直接在KGs上进行推理，以实现忠实和可解释的推理至关重要。

本文提出了一种名为图上推理（RoG）的新方法，该方法将LLMs与KGs结合起来，进行忠实和可解释的推理。RoG通过规划-检索-推理框架，首先生成由KGs支持的关系路径作为忠实的计划，然后使用这些计划从KGs检索有效的推理路径，供LLMs进行忠实推理。此外，RoG不仅通过训练从KGs中提取知识以提高LLMs的推理能力，而且还允许在推理过程中与任何LLMs无缝集成。在两个基准KGQA数据集上的广泛实验表明，RoG在KG推理任务上实现了最先进的性能，并生成了忠实和可解释的推理结果。

论文标题: REASONING ON GRAPHS: FAITHFUL AND INTERPRETABLE LARGE LANGUAGE MODEL REASONING

机构: Monash University, Australia; Griffith University, Australia

论文链接: https://arxiv.org/pdf/2310.01061.pdf

项目地址: https://github.com/RManLuo/reasoning-on-graphs

理解知识图谱(KGs)在增强LLMs推理能力中的作用

知识图谱(KGs)是一种结构化的知识表示形式，它们包含了大量的事实知识。这些知识以三元组的形式存在，其中包含实体和它们之间的关系。尽管大型语言模型(LLMs)在处理复杂任务时表现出了令人印象深刻的推理能力，但它们在推理过程中仍然存在知识缺失和幻觉问题，这可能导致错误的推理过程。例如，LLMs可能会错误地推断出某个人物有一个女儿，尽管实际上并非如此。这些问题在高风险场景中尤为突出，例如法律判断和医学诊断，它们大大降低了LLMs的性能和可信度。

为了解决这些问题，研究者们开始将KGs整合到LLMs中，以提高其推理能力。KGs提供了一个可靠的知识源，可以用于推理。特别是在知识图谱问答(KGQA)任务中，KGs的结构化信息对于推理至关重要。例如，通过使用关系路径，即一系列关系的序列，我们可以始终从KGs中检索到最新的知识进行推理。因此，KGs不仅作为事实知识库，其结构信息对于实现可靠和可解释的推理也非常重要。

提出RoG方法：结合LLMs与KGs进行可靠推理

1. RoG方法概述：规划-检索-推理框架

RoG（Reasoning on Graphs）方法是一种新颖的方法，它将LLMs与KGs结合起来，以实现忠实和可解释的推理。RoG首先通过规划模块生成由KGs支持的关系路径作为可靠的计划，然后使用这些计划从KGs中检索有效的推理路径，供LLMs进行忠实推理。这种方法不仅检索了KGs中的最新知识，还考虑了KG结构对推理和解释的指导作用。此外，RoG的规划模块可以在推理过程中与不同的LLMs即插即用，以提高它们的性能。

2. 优化框架：规划优化与检索推理优化

尽管生成关系路径作为计划的优势显而易见，但LLMs对KGs中包含的关系知之甚少，因此不能直接生成由KGs支持的忠实关系路径作为计划。此外，LLMs可能无法正确理解推理路径并据此进行推理。为了解决这些问题，RoG设计了两个指令调优任务：规划优化和检索推理优化。

规划优化的目标是将KGs中的知识提炼到LLMs中，以生成忠实的关系路径作为计划。这可以通过最小化与忠实关系路径的后验分布Q(z)的KL散度来实现。在检索推理优化中，我们的目标是使LLMs能够基于检索到的推理路径进行推理。对于检索推理模块，我们遵循FiD框架，该框架允许在多个检索到的推理路径上进行推理，从而最大化LLMs生成正确答案的概率。

RoG的最终目标函数是规划优化和检索推理优化的组合，可以形式化为一个联合训练的目标。通过这种方式，我们采用相同的LLM进行规划和推理，这两个任务在指令调优任务中共同训练。

实验设置：数据集和评价指标

1. 数据集

在本研究中，我们采用了两个基准的知识图谱问答（KGQA）数据集：WebQuestionSP (WebQSP) 和 Complex WebQuestions (CWQ)。这些数据集包含多达4跳的问题，以Freebase为背景知识图谱，其中包含约8800万实体、2万种关系以及1.26亿个三元组。为了公平比较，我们遵循了先前工作的做法，使用相同的训练和测试分割。数据集的详细统计信息见附录A.4。

2. 评价指标

我们采用了Hits@1和F1作为评价指标。Hits@1衡量的是预测的答案中排名第一的答案正确的问题的比例。由于一个问题可能对应多个答案，F1考虑了所有答案的覆盖率，平衡了预测答案的精确度和召回率。

实验结果与分析：RoG在KGQA任务中的表现

1. 主要结果

我们将RoG与其他基线方法在KGQA任务上进行了比较。结果显示，我们的方法在两个数据集上的大多数指标中均取得了最佳性能。具体来说，与WebQSP数据集上的最新方法DECAF相比，我们的方法在Hits@1上提高了4.4%。在更具挑战性的CWQ数据集上，由于包含多跳问题，我们的方法在Hits@1和F1上分别提高了22.3%和14.4%，这些结果证明了我们方法在KGQA中的卓越推理能力。

2. 分析

在其他方法中，基于检索的方法通过从知识图谱中检索相关子图来减少推理复杂性，从而优于传统的基于嵌入的方法。此外，采用基于关系路径的检索的SR+NSM和SR+NSM+E2E取得了更好的性能，这突显了关系路径的重要性。语义解析方法在WebQSP上的表现优于检索方法，但在CWQ上由于生成复杂问题的逻辑查询的复杂性而表现较差。尽管基于LLM的方法取得了可比的性能，但它们受到幻觉和缺乏知识的限制，如第5.4节所示。LLMs+KGs方法取得了第二好的性能，这证明了将知识图谱和LLMs统一用于推理的有效性。

3. 消融研究

我们进行了消融研究以分析我们方法中规划模块和推理模块的有效性。我们比较了四个变体：1) w/o planning，移除规划模块并在没有检索推理路径的情况下进行推理；2) w/o reasoning，移除推理模块并使用检索到的所有推理路径的答案；3) w/ random plans，随机从知识图谱中检索推理路径并将其输入推理模块；4) w/ vote reasoning，采用多数投票法从检索到的推理路径中选择前5个答案。结果表明，没有规划模块的情况下，我们的方法退化为仅依赖问题输入的传统LLM，受到缺乏知识的问题的影响。虽然移除推理模块由于增加了答案数量而提高了召回率，但由于检索路径中的噪声，精确度显著下降。这证明了推理模块在识别重要推理路径和过滤噪声方面的有效性。此外，使用随机计划比移除规划模块的性能更差，这突显了生成忠实推理计划的规划模块的重要性。使用简单的多数投票推理可以改善结果，这也证明了推理模块的必要性。

讨论RoG的可插拔规划模块如何与其他LLMs集成以提升性能

1. RoG的可插拔规划模块的设计

RoG（Reasoning on Graphs）的核心设计包括一个规划模块，该模块能够生成基于知识图谱（KGs）的关系路径作为可靠的计划。这些关系路径不仅捕获了实体间的语义关系，而且由于KGs中的关系相对稳定，它们能够为LLMs提供最新的知识，从而支持推理。RoG的规划模块具有可插拔性，意味着它可以在推理过程中与任意LLMs无缝集成，以改善其性能。

2. 如何与其他LLMs集成

在推理阶段，RoG的规划模块可以与不同的LLMs集成。具体来说，首先使用RoG的规划模块生成关系路径，然后根据这些路径从KGs中检索有效的推理路径。这些检索到的推理路径随后被用作上下文，输入到不同的LLMs中进行推理。这种集成方式不需要对LLMs进行重新训练，即可提升其在知识图谱问答（KGQA）任务中的性能。

3. 效果验证

实验结果表明，通过集成RoG的规划模块，各种LLMs的性能都得到了显著提升。例如，ChatGPT的Hits@1指标通过集成RoG提高了8.5%，Alpaca提高了15.3%，LLaMA2提高了119.3%。这证明了RoG规划模块的有效性和可插拔性，以及其在提升LLMs性能方面的潜力。

案例研究：RoG在生成可解释推理结果方面的有效性

1. 缺乏知识的案例

在一个案例中，ChatGPT+CoT由于缺乏最新知识，无法回答关于“北方区域所在国家的政府类型”的问题。相比之下，RoG能够生成忠实的关系路径，并从KGs中检索有效的推理路径来进行推理。RoG不仅提供了正确的答案，还基于推理路径给出了可解释的解释。

2. 幻觉问题的案例

在另一个案例中，ChatGPT+CoT由于幻觉问题，生成了错误的答案。而RoG即使在检索到的推理路径中包含噪声，其推理模块也能够识别出正确的推理路径，并进行忠实的推理。这些案例展示了RoG在进行忠实推理和生成可解释结果方面的有效性。

通过这些案例研究，我们可以看到RoG在处理LLMs在推理过程中可能出现的知识缺失和幻觉问题方面的优势，以及它在提供可解释推理结果方面的能力。

总结：RoG方法的优势、挑战和未来研究方向

在本章节中，我们将总结RoG（Reasoning on Graphs）方法的优势、面临的挑战以及未来的研究方向。

1. RoG方法的优势

RoG方法通过结合大型语言模型（LLMs）和知识图谱（KGs），提出了一种新颖的规划-检索-推理框架，以实现可靠和可解释的推理。RoG的主要优势包括：

• 提高推理的可靠性：RoG通过生成基于KGs的关系路径作为可靠的计划，减少了LLMs在推理过程中的幻觉现象和缺乏最新知识的问题，从而提高了推理的准确性和可信度。
• 生成可解释的推理结果：RoG不仅能够提供答案，还能够根据检索到的推理路径生成可解释的推理过程，增强了结果的透明度和用户的信任。
• 与任意LLMs的无缝集成：RoG的规划模块可以在推理过程中与不同的LLMs插拔式集成，提高了方法的通用性和灵活性。

2. RoG方法面临的挑战

尽管RoG在推理任务上表现出色，但在实际应用中仍然面临一些挑战：

• 知识图谱的覆盖性和更新性：RoG的性能在很大程度上依赖于KGs的质量，包括其覆盖的广度和深度以及信息的时效性。如果KGs缺乏某些领域的知识或信息过时，可能会影响RoG的推理能力。
• 推理路径的检索效率：随着KGs规模的增大，检索有效推理路径的时间和计算资源需求可能会增加，影响RoG的实时性和可扩展性。
• 推理路径的噪声和不相关性：在检索推理路径时可能会引入噪声和不相关的信息，这需要RoG的推理模块具有较强的鉴别能力，以确保最终推理结果的准确性。

3. 未来研究方向

针对现有挑战，RoG方法的未来研究方向可能包括：

• 增强知识图谱的动态更新能力：研究如何更有效地更新和维护KGs，以确保RoG能够利用最新的知识进行推理。
• 优化推理路径的检索算法：开发更高效的算法来检索推理路径，减少计算成本和提高检索速度，特别是在大规模KGs上。
• 提高推理结果的鲁棒性：研究如何减少噪声和不相关信息的影响，提高RoG在复杂和多变环境中的推理鲁棒性。
• 跨领域和跨语言的推理能力：探索如何使RoG能够处理跨领域和跨语言的推理任务，增强其在多样化应用场景中的适用性。

综上所述，RoG方法通过结合LLMs和KGs，显著提升了推理的可靠性和可解释性，但仍需在知识图谱的动态更新、推理路径检索效率以及推理结果鲁棒性等方面进行进一步的研究和优化。未来的研究将有望克服这些挑战，进一步拓展RoG方法的应用范围和影响力。