AI人工智能 浙大 | KnowPAT：针对垂直领域问答的大模型知识偏好对齐与应用_垂直领域 对话系统研究

大模型在垂直领域的应用落地是目前工业界的关注重点，针对知识密集型的垂直领域业务场景，除了大模型之外，往往还需要垂直领域的知识图谱（KG）作为外部知识源辅助。

本文提出了一个大模型知识偏好对齐框架 KnowPAT，实现大模型偏好与人类偏好对齐，同时将作为垂直领域知识图谱引入到了模型对齐的过程中，以提升答案生成的质量。

图片

论文地址：https://arxiv.org/pdf/2311.06503.pdf

Github地址：https://github.com/zjukg/KnowPAT

摘要

本文介绍了一种新的流程，将大型语言模型（LLMs）应用于领域特定的问答（QA），并结合领域知识图谱（KGs）解决了LLMs应用中的两个主要难点：生成用户友好的内容和正确利用领域知识。作者提出了知识偏好对齐（KnowPAT）方法，通过构建风格偏好集和知识偏好集来解决这两个问题，并设计了新的对齐目标来训练更好的LLMs。实验结果表明，KnowPAT是一种优秀的流程，可用于实际场景中的领域特定问答。

简介

互联网的快速发展催生了许多新的商业模式，如电子商务和云服务。针对特定领域的智能问答服务是提高服务质量的关键任务。传统深度学习模型在领域专业知识方面仍有不足，因此领域知识图谱成为存储和查询领域特定知识的重要媒介。大语言模型在自然语言处理领域取得了显著进展，应用于各种下游任务成为互联网行业的主要方向。将知识图谱作为外部知识源与大型语言模型结合，进行领域特定的智能问答仍有待进一步探索。

图片

本文介绍了一个名为KnowPAT的新颖框架，用于解决基于领域知识图谱的实际场景下的问答问题。该框架通过构建领域知识图谱来获得领域知识，并设计了一种新的对齐目标来优化LLM模型。实验证明，KnowPAT是一个优秀的框架，相比于15个现有的基线模型，在实际应用中具有更好的效果。

相关工作

知识图谱增强问答系统

我们提出了一种基于知识偏好的框架，用于增强知识图谱感知的问答系统。该框架适用于云服务产品的领域特定问答场景。与其他基于知识图谱的问答系统不同，该框架不需要使用大型语言模型进行对话，而是通过知识偏好来提高问答的准确性。

LLMs的偏好对齐

我们提出了一种基于领域知识图谱的偏好对齐框架，通过构建知识偏好集，训练LLMs以与人类偏好对齐，并选择更好的事实知识来解决问答任务。同时，文章还介绍了其他PA方法，如RRHF、RAFT、SLiC-HF、PRO、DPO和AFT等。

问题定义

本文介绍了使用偏好数据fine-tune LLMs的一般流程，目标是fine-tune一个LLM M，使用QA数据集D，其中每个数据点包含一个问题和一个答案。对于vanilla fine-tuning（VFT），首先将QA对包装在一个prompt模板I中，然后使用自回归损失函数进行优化。

图片

然而，对于特定领域的QA来说，这种VFT方法并不能取得很好的效果。一方面，现实场景中的应用需要用户友好，否则不会带来商业价值;因此，生成的响应的文本样式应该更容易被用户接受。另一方面，知识检索过程是无监督的，检索到的知识的有效性难以保证，这意味着模型M需要具备判断和选择性利用知识三元组的能力。因此，要解决这两个问题，就要对基础VFT进行改进。

实际上，这两个问题都可以总结为模型偏好。LLM M有其生成文本的风格偏好和有选择地利用检索到的知识的知识偏好。为了使模型实际适用，模型偏好应与人类偏好保持一致，旨在生成人类偏好的高质量答案。偏好对齐(Preference alignment, PA)是LLMs的一个重要课题。为了在LLM微调期间应用PA，我们采样了一个偏好集P ={