StructLM: Towards Building Generalist Models for Structured Knowledge Grounding

论文的主要目的是提高大型语言模型（LLMs）在处理结构化数据（如表格、图和数据库）方面的能力。以下是根据论文内容整理的要点：

1. 背景与挑战：

   • 结构化数据源（如表格、图和数据库）是普遍存在的知识来源。
   • 尽管大型语言模型（LLMs）在处理纯文本方面表现出色，但在解释和利用结构化数据方面的能力有限。
   • 研究者发现LLMs在处理结构化数据方面存在显著不足，例如ChatGPT在某些任务上比最先进的（SoTA）模型平均落后35%。

2. StructLM模型：

   • 为了增强LLMs在结构化知识接地（SKG）方面的能力，研究者开发了一个包含110万个示例的综合指令调整数据集。
   • 基于Code-LLaMA架构，训练了一系列模型，称为StructLM，参数范围从7B到34B。
   • StructLM系列在18个评估数据集中的14个上超越了特定任务模型，并在7个SKG任务上建立了新的SoTA成果。

3. 模型性能：

   • StructLM展示了在6个新的SKG任务上的卓越泛化能力。
   • 与预期相反，模型大小的扩展只提供了边际效益，StructLM-34B与StructLM-7B相比只有轻微的改进。
   • 这表明结构化知识接地仍然是一个具有挑战性的任务，需要更创新的设计来达到新水平。

4. 实验与评估：

   • 在18个SKG任务上评估了GPT-3.5-Turbo，发现其性能显著低于SoTA专用模型。
   • 研究了StructLM在不同预训练数据下的性能，发现代码预训练是提高SKG任务性能的最有效方法。

5. 贡献：

   • 构建了一个大型SKG指令调整数据集，训练并发布了3个模型，这些模型在14个任务上超越了之前3B USKG微调的模型。
   • 展示了StructLM在未见过的SKG任务上的强零样本泛化能力。
   • 发现扩展通用指令调整数据可以提高泛化能力，且代码预训练的基础模型确实提高了SKG任务的性能。

6. 相关工作：

   • 讨论了解决SKG任务的方法，包括利用特定训练设置学习表示的方法，以及最近开始远离这些特定结构的方法。
   • 探讨了LLMs的指令调整（IT）方法，以及它如何通过多任务学习提高下游任务的性能。

7. 方法：

   • 数据集策划：选择了25个SKG任务进行研究，包括数据到文本生成、基于表格的问答、知识接地对话、事实验证、SQL或特定领域语言等。
   • 指令微调方法：每个数据示例包括系统提示、指令、输入和输出。对于所有SKG数据示例，使用相同的系统提示。

8. 讨论与结论：

   • 论文认为SKG是未来语言模型的重要能力，并提出了通过在更多结构化数据格式上继续预训练开放基础模型来提高SKG能力的建议。
   • 论文还讨论了训练数据的多样性和评估方法的局限性，并提出了未来改进的方向。

9. 伦理声明：

   • 论文没有提出任何伦理问题。使用的数据和资源是开源的，并在现有作品中广泛使用。

这篇论文通过构建一个大型的指令调整数据集，并基于此训练StructLM模型，展示了在结构化知识接地任务上的进步，并为未来的研究提供了一个强有力的基线。