AI推介-大语言模型LLMs论文速览（arXiv方向）：2024.04.20-2024.04.25

1.From Local to Global: A Graph RAG Approach to Query-Focused Summarization

标题:从局部到全局：以图形 RAG 方法实现以查询为重点的汇总

author:Darren Edge, Ha Trinh, Newman Cheng, Joshua Bradley, Alex Chao, Apurva Mody, Steven Truitt, Jonathan Larson

date Time:2024-04-24

paper pdf:http://arxiv.org/pdf/2404.16130v1

摘要：
使用检索增强生成（RAG）从外部知识源检索相关信息，可以让大型语言模型（LLM）回答私人和/或以前未见过的文档集合中的问题。但是，RAG 无法回答针对整个文本语料库的全局性问题，例如 “数据集中的主要主题是什么？”，因为这本质上是一个以查询为重点的总结（QFS）任务，而不是一个明确的检索任务。同时，先前的 QFS 方法无法扩展到典型 RAG 系统索引的文本数量。为了将这些不同方法的优势结合起来，我们提出了一种在私有文本库上进行问题解答的图 RAG 方法，该方法可根据用户问题的通用性和需要索引的源文本数量进行扩展。我们的方法使用 LLM 分两个阶段建立基于图的文本索引：首先从源文档中导出实体知识图，然后为所有密切相关的实体组预先生成社区摘要。在给定一个问题后，每个社区摘要都会被用来生成部分回复，然后再将所有部分回复汇总到给用户的最终回复中。对于 100 万标记范围内数据集上的一类全局感知问题，我们的研究表明，图形 RAG 在生成答案的全面性和多样性方面都比简单的 RAG 基线有了大幅提高。基于 Python 的全局和局部 Graph RAG 方法的开源实现即将在 https://aka.ms/graphrag 上发布。

2.KGValidator: A Framework for Automatic Validation of Knowledge Graph Construction

标题:KGValidator：知识图谱构建的自动验证框架

author:Jack Boylan, Shashank Mangla, Dominic Thorn, Demian Gholipour Ghalandari, Parsa Ghaffari, Chris Hokamp

publish:Text2KG 2024, ESWC 2024

date Time:2024-04-24

paper pdf:http://arxiv.org/pdf/2404.15923v1

摘要：
本研究探讨了如何使用大型语言模型（LLM）来自动评估知识图谱（KG）的补全模型。从历史上看，验证知识图谱中的信息一直是一项具有挑战性的任务，需要大规模的人工标注，成本高得令人望而却步。随着通用生成式人工智能和 LLM 的出现，现在可以用生成式代理来取代人工验证。我们介绍了使用生成模型验证知识图谱时的一致性和验证框架。我们的框架基于最近针对 LLM 输出的结构和语义验证的开源开发，以及灵活的事实检查和验证方法，并能参考任何类型的外部知识源。该设计易于调整和扩展，可通过结合模型内在知识、用户提供的上下文和能够进行外部知识检索的代理，用于验证任何类型的图结构数据。

3.From Complex to Simple: Enhancing Multi-Constraint Complex Instruction Following Ability of Large Language Models

标题:从复杂到简单：增强大型语言模型的多约束复杂教学跟踪能力

author:Qianyu He, Jie Zeng, Qianxi He, Jiaqing Liang, Yanghua Xiao

date Time:2024-04-24

paper pdf:http://arxiv.org/pdf/2404.15846v1

摘要：
大语言模型（LLM）必须遵循具有复杂要求的指令（即复杂指令遵循）。然而，如何增强大语言模型遵循具有多重约束的复杂指令的能力，目前仍未得到充分探索。为了弥补这一差距，我们首先研究了哪些训练数据能有效提高复杂约束条件下的遵从能力。我们发现，用包含多重约束的指令来训练 LLM 可以增强他们对复杂指令的理解，尤其是那些复杂度较低的指令。这种提高甚至可以推广到域外约束的组合。此外，我们还进一步提出了如何获取和利用有效训练数据的方法。最后，我们进行了广泛的实验，以证明我们的方法在四种设置下的整体性能、训练效率和泛化能力方面的有效性。

4.Leveraging Large Language Models for Multimodal Search

标题:利用大型语言模型进行多模态搜索

author:Oriol Barbany, Michael Huang, Xinliang Zhu, Arnab Dhua

publish:Published at CVPRW 2024

date Time:2024-04-24

paper pdf:http://arxiv.org/pdf/2404.15790v1

摘要：
多模态搜索为用户提供了一种自然而有效的表达搜索意图的方式，其重要性与日俱增。图片提供了所需产品的细微细节，而文字则可以方便地进行搜索修改。然而，现有的一些多模态搜索系统并不可靠，无法处理简单的查询。自然语言文本查询的变异性很大，可能包含模棱两可、隐含和不相关的信息，因此问题变得更加棘手。要解决这些问题，可能需要系统具备更强的匹配能力、推理能力以及上下文感知查询解析和重写能力。本文介绍了一种新型多模态搜索模型，该模型在 Fashion200K 数据集上实现了新的性能里程碑。此外，我们还提出了一种集成大型语言模型（LLM）的新型搜索界面，以促进自然语言交互。该界面在与用户对话的同时，还考虑了用户以前的搜索情况，从而将查询发送给搜索系统。结合我们的多模态搜索模型，它预示着一个能够提供类人交互并提升整体搜索体验的购物助手新时代的到来。

5.Wiki-LLaVA: Hierarchical Retrieval-Augmented Generation for Multimodal LLMs

标题:Wiki-LaaVA：多模态 LLM 的分层检索-增强生成

author:Davide Caffagni, Federico Cocchi, Nicholas Moratelli, Sara Sarto, Marcella Cornia, Lorenzo Baraldi, Rita Cucchiara

publish:CVPR 2024 Workshop on What is Next in Multimodal Foundation Models

date Time:2024-04-23

paper pdf:http://arxiv.org/pdf/2404.15406v2

摘要：
多模态 LLM 是 LLM 的自然进化，它扩大了 LLM 的功能，使其超越了纯文本模态。随着设计新型架构和视觉语言适配器的研究不断深入，我们在本文中将重点放在赋予这些模型回答需要外部知识的问题的能力上。我们的方法被称为 Wiki-LaVA，旨在整合多模态文档的外部知识源，并通过分层检索管道进行访问。使用这种方法，可以从外部知识源检索到相关段落，并将其用作 LLM 的附加上下文，从而提高生成对话的有效性和准确性。我们利用外部数据在为可视化问题解答量身定制的数据集上进行了广泛的实验，证明了我们的方法的适当性。

6.Does Instruction Tuning Make LLMs More Consistent?

标题:指令调整是否会使 LLM 更加一致？

author:Constanza Fierro, Jiaang Li, Anders Søgaard

date Time:2024-04-23

paper pdf:http://arxiv.org/pdf/2404.15206v2

摘要：
指令调优的目的是实现零误差性能，但指令调优也被证明可以改善思维链推理和价值对齐（Si 等人，2023 年）。在此，我们将考虑对 $\text{consistency}$（即语言模型对输入中微小扰动的敏感性）的影响。我们将 10 个经过指令调整的 LLaMA 模型与原始的 LLaMA-7b 模型进行了比较，结果表明，几乎所有的模型都变得更加一致，无论是在表征方面还是在零点和下游任务中的预测方面。我们通过对事实回忆的机理分析来解释这些改进。

7.Pattern-Aware Chain-of-Thought Prompting in Large Language Models

标题:大型语言模型中的模式感知思维链提示

author:Yufeng Zhang, Xuepeng Wang, Lingxiang Wu, Jinqiao Wang

date Time:2024-04-23

paper pdf:http://arxiv.org/pdf/2404.14812v1

摘要：
思维链（CoT）提示可以引导语言模型进行复杂的多步骤推理。所提供演示的质量会极大地影响下游推理任务的成功与否。虽然现有的自动方法优先考虑这些演示的准确性和语义，但我们发现，底层推理模式在此类任务中发挥着更关键的作用。在本文中，我们提出了模式识别 CoT，这是一种考虑到演示模式多样性的提示方法。通过将步骤长度和推理过程等模式纳入中间步骤，PA-CoT 有效地缓解了演示引起的偏差问题，并能更好地泛化到不同的场景中。我们使用两个开源 LLM 对九个推理基准任务进行了实验。结果表明，我们的方法大大提高了推理性能，并表现出对错误的鲁棒性。代码将公开发布。

8.Generate-on-Graph: Treat LLM as both Agent and KG in Incomplete Knowledge Graph Question Answering

标题:图上生成：在不完整知识图谱问题解答中将 LLM 同时视为代理和 KG

author:Yao Xu, Shizhu He, Jiabei Chen, Zihao Wang, Yangqiu Song, Hanghang Tong, Kang Liu, Jun Zhao

date Time:2024-04-23

paper pdf:http://arxiv.org/pdf/2404.14741v1

摘要：
为了解决大语言模型（LLM）中知识不足和容易产生幻觉的问题，许多研究都致力于将 LLM 与知识图谱（KG）相结合。然而，所有这些方法都是在具有完整知识图谱的传统知识图谱问题解答（KGQA）上进行评估的，在这种情况下，每个问题所涉及的事实三元组都被给定的知识图谱完全覆盖。在这种情况下，LLM 主要充当代理，通过探索知识图谱找到答案实体，而不是有效整合内部和外部知识源。然而，在实际场景中，知识库往往并不完整，无法涵盖回答问题所需的全部知识。为了模拟真实世界的场景并评估 LLMs 整合内部和外部知识的能力，我们在本文中提出利用 LLMs 在不完整知识图谱（IKGQA）下进行 QA，即给定的知识图谱不包括每个问题所涉及的所有事实三元组。为了处理 IKGQA，我们提出了一种称为 “图上生成”（Generate-on-Graph，GoG）的免训练方法，它可以在探索知识图谱的同时生成新的事实三元组。具体来说，我们提出了一个选择-生成-回答框架，它不仅将 LLM 视为在 KG 上进行探索的代理，还将其视为 KG，根据所探索的子图及其固有知识生成新的事实。在两个数据集上的实验结果表明，我们的 GoG 可以在一定程度上解决 IKGQA 问题，而之前的几乎所有方法都无法很好地解决 IKGQA 问题。

9.Insights into Alignment: Evaluating DPO and its Variants Across Multiple Tasks

标题:洞察对齐：在多项任务中评估 DPO 及其变体

author:Amir Saeidi, Shivanshu Verma, Chitta Baral

date Time:2024-04-23

paper pdf:http://arxiv.org/pdf/2404.14723v1

摘要：
大型语言模型（LLM）在各种任务中都表现出了卓越的性能。最近，直接偏好优化（DPO）作为一种无 RL 的方法出现，可根据人类偏好优化策略模型。然而，这种方法的广泛应用还存在一些局限性。为了解决这些问题，人们推出了各种版本的 DPO。然而，目前仍缺乏对这些变体在不同任务中的表现进行全面评估。在本研究中，我们旨在通过研究三种不同情况下对齐方法的性能来弥补这一差距：(1) 保留监督微调（SFT）部分；(2) 跳过监督微调部分；(3) 跳过监督微调部分并利用指令调整模型。此外，我们还探讨了不同训练规模对其性能的影响。我们的评估横跨一系列任务，包括对话系统、推理、数学问题解决、问题解答、真实性和多任务理解，涵盖 MT-Bench、Big Bench 和 Open LLM Leaderboard 等 13 个基准。主要观察结果表明，对齐方法能在较小的训练数据子集中获得最佳性能，在推理任务中表现出有限的有效性，但对数学问题的解决却有显著影响，而采用指令调整模型则能明显影响真实性。我们预计，我们的发现将促进进一步的研究，从而开发出更强大的模型来解决配准难题。

10.A Survey on Self-Evolution of Large Language Models

标题:大型语言模型自我进化调查

author:Zhengwei Tao, Ting-En Lin, Xiancai Chen, Hangyu Li, Yuchuan Wu, Yongbin Li, Zhi Jin, Fei Huang, Dacheng Tao, Jingren Zhou

date Time:2024-04-22

paper pdf:http://arxiv.org/pdf/2404.14387v1

摘要：
大型语言模型（LLMs）在各个领域和智能代理应用中都取得了长足的进步。然而，目前从人类或外部模型监督中学习的 LLM 成本高昂，而且随着任务复杂性和多样性的增加，可能会面临性能上限的问题。为了解决这个问题，使 LLM 能够自主获取、完善和学习模型自身产生的经验的自我进化方法正在迅速发展。这种受人类经验学习过程启发的新训练范式有望将 LLM 推向超级智能。在这项工作中，我们全面考察了 LLM 的自我进化方法。我们首先提出了自我进化的概念框架，并将进化过程概述为由四个阶段组成的迭代循环：经验获取、经验完善、更新和评估。其次，我们对 LLM 和基于 LLM 的代理的进化目标进行了分类；然后，我们对文献进行了总结，并为每个模块提供了分类和见解。最后，我们指出了现有的挑战，并提出了改进自我进化框架的未来方向，为研究人员提供了快速开发自我进化 LLM 的重要见解。

11.A Survey on Efficient Inference for Large Language Models

标题:大型语言模型高效推理调查

author:Zixuan Zhou, Xuefei Ning, Ke Hong, Tianyu Fu, Jiaming Xu, Shiyao Li, Yuming Lou, Luning Wang, Zhihang Yuan, Xiuhong Li, Shengen Yan, Guohao Dai, Xiao-Ping Zhang, Yuhan Dong, Yu Wang

date Time:2024-04-22

paper pdf:http://arxiv.org/pdf/2404.14294v1

摘要：
大型语言模型（LLM）因其在各种任务中的出色表现而受到广泛关注。然而，LLM 推断需要大量的计算和内存，这给在资源有限的情况下部署 LLM 带来了挑战。该领域一直致力于开发旨在提高 LLM 推断效率的技术。本文全面考察了有关高效 LLM 推断的现有文献。我们首先分析了 LLM 推理效率低下的主要原因，即模型规模过大、二次复杂性注意力操作和自动回归解码方法。然后，我们介绍了一种全面的分类法，将目前的文献分为数据级、模型级和系统级优化。此外，本文还对关键子领域中的代表性方法进行了比较实验，以提供定量见解。最后，我们进行了一些知识总结，并讨论了未来的研究方向。

12.MixLoRA: Enhancing Large Language Models Fine-Tuning with LoRA-based Mixture of Experts

标题:MixLoRA：利用基于 LoRA 的专家混合物增强大型语言模型的微调能力

author:Dengchun Li, Yingzi Ma, Naizheng Wang, Zhengmao Ye, Zhiyuan Cheng, Yinghao Tang, Yan Zhang, Lei Duan, Jie Zuo, Cal Yang, Mingjie Tang

publish:18 pages, 5 figures

date Time:2024-04-22

paper pdf:http://arxiv.org/pdf/2404.15159v2

摘要：
对大型语言模型（LLM）进行微调是一种常见的做法，目的是使预先训练好的模型适用于特定应用。虽然 LoRA 等方法在微调过程中有效地解决了 GPU 内存限制问题，但其性能往往不尽如人意，尤其是在多任务场景中。相比之下，Mixtral 8x7B 等专家混合物（MoE）模型在多任务学习场景中表现出卓越的性能，同时还能保持较少的参数数量。然而，这些专家混合物模型的资源需求仍然具有挑战性，尤其是对于内存不足 24GB 的消费级 GPU 来说。为了应对这些挑战，我们提出了一种基于 LoRA 构建资源节约型稀疏 MoE 模型的方法–MixLoRA。MixLoRA 在冻结的预训练密集模型的前馈网络块中插入多个基于 LoRA 的专家，并采用常用的 top-k 路由器。与其他基于 LoRA 的 MoE 方法不同，MixLoRA 通过利用独立的注意力层 LoRA 适配器来增强模型性能。此外，还采用了辅助负载平衡损耗来解决路由器的不平衡问题。我们的评估表明，在多任务学习场景中，与最先进的 PEFT 方法相比，MixLoRA 提高了约 9% 的准确率。我们还提出了一个新的高吞吐量框架，以缓解 MOE 模型训练和推理过程中的计算和内存瓶颈。在训练和推理过程中，该框架将 GPU 内存消耗减少了 40%，令牌计算延迟减少了 30%。

13.Retrieval-Augmented Generation-based Relation Extraction

标题:基于检索-增强生成的关系提取

author:Sefika Efeoglu, Adrian Paschke

publish:Submitted to Semantic Web Journal. Under Review

date Time:2024-04-20

paper pdf:http://arxiv.org/pdf/2404.13397v1

摘要：
信息提取（IE）是一种转换过程，通过采用实体和关系提取（RE）方法，将非结构化文本数据转换为结构化格式。在这一框架中，识别一对实体之间的关系起着至关重要的作用。尽管存在各种关系提取技术，但它们的功效在很大程度上依赖于对标记数据和大量计算资源的访问。在应对这些挑战时，大语言模型（LLMs）是一种很有前途的解决方案；然而，由于其自身的训练数据，它们可能会返回幻觉反应。为了克服这些局限性，本文提出了基于检索增强生成的关系提取（RAG4RE），为提高关系提取任务的性能提供了一条途径。 这项工作利用不同的 LLM 评估了我们的 RAG4RE 方法的有效性。通过利用已建立的基准，如 TACRED、TACREV、Re-TACRED 和 SemEval RE 数据集，我们的目标是全面评估 RAG4RE 方法的有效性。特别是，我们在研究中利用了著名的 LLM，包括 Flan T5、Llama2 和 Mistral。研究结果表明，我们的 RAG4RE 方法超越了仅基于 LLMs 的传统 RE 方法的性能，这在 TACRED 数据集及其变体中尤为明显。此外，在 TACRED 和 TACREV 数据集上，与以前的 RE 方法相比，我们的方法表现出了卓越的性能，这凸显了它在推进自然语言处理中的 RE 任务方面的功效和潜力。