AI的自我进化框架：大型语言模型如何不断提升智能水平？_the instruction hierarchy: training llms to priori

大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。

2022年底，OpenAI 推出的基于 GPT-3.5 的大型语言模型 ChatGPT，由于其优秀的表现，ChatGPT 及其背后的大型语言模型迅速成为人工智能领域的热门话题，吸引了广大科研人员和开发者的关注和参与。

本周精选了5篇LLM领域的优秀论文，为了方便大家阅读，只列出了论文标题、AMiner AI综述等信息，如果感兴趣可点击查看原文，PC端数据同步（收藏即可在PC端查看），每日新论文也可登录小程序查看。

如果想要对某篇论文进行深入对话，可以直接复制论文链接到浏览器上或者直达AMiner AI页面：
https://www.aminer.cn/chat/g/explain?f=cs

1.SnapKV: LLM Knows What You are Looking for Before Generation

论文介绍了大型语言模型（LLM）在处理大量上下文时，键值（KV）缓存起到了关键作用。但是，随着输入长度的增加，KV缓存的扩展对内存和时间效率提出了挑战。为了解决这个问题，文章提出了SnapKV，一种创新的、不需要微调的方法，在保持实际应用中性能的同时，高效地最小化KV缓存大小。研究发现在生成过程中，模型中的每个注意力头始终关注特定的提示注意力特征。同时，这个健壮的模式可以从位于提示末尾的“观察”窗口中获得。基于这个洞察，SnapKV通过为每个注意力头选择聚类的重要KV位置来自动压缩KV缓存。该方法显著降低了处理长输入序列时的计算开销和内存占用。与基线相比，当处理16K令牌的输入时，SnapKV保持了与基线模型相当的表现，同时生成速度提高了3.6倍，内存效率提高了8.2倍。此外，使用HuggingFace实现并进行了少量更改，SnapKV可以在单个A100-80GB GPU上处理多达380K上下文令牌，并在Needle-in-a-Haystack测试中显示出几乎可以忽略的准确性下降。进一步的全面研究证明了SnapKV在实际应用中的潜力。

链接：https://www.aminer.cn/pub/66286ca801d2a3fbfc362f1a/?f=cs

2.NExT: Teaching Large Language Models to Reason about Code Execution

这篇论文提出了一种新方法NExT，旨在教会大型语言模型（LLMs）理解程序执行的原理。人类开发者的一项基本技能是通过自然语言模拟代码执行来理解和推理程序执行过程，但现有的代码大型语言模型通常只是基于程序的表面文本形式进行训练，可能缺乏对程序运行时语义的深入理解。为了克服这个问题，NExT方法通过自我训练，引导LLMs检查程序的执行轨迹（已执行行的变量状态），并通过链式推理（CoT）来理解其运行时行为。具体来说，NExT利用自我训练来启动一个合成训练集的执行意识推理，这些推理能够引导至正确的任务解决方案（例如，修复的程序），而无需繁琐的手动注释。在基于MBPP和HumanEval的程序修复任务实验中，NExT能显著提升PaLM 2模型的修复率，分别提高了26.1%和14.3%，并且通过自动化指标和人类评估者验证了显著提高的推理质量。该模型还可以推广到测试时间没有程序轨迹的场景。

链接：https://www.aminer.cn/pub/66286ca801d2a3fbfc362fe1/?f=cs

3.Rethinking LLM Memorization through the Lens of Adversarial Compression

这篇论文探讨了大型语言模型（LLM）在训练大规模数据集时对数据使用合规性的担忧。主要问题是这些模型是否“记忆”了所有的训练数据，还是以更类似于人类学习合成信息的方式整合了许多数据源。这取决于我们如何定义“记忆”。本文提出了对抗性压缩比（ACR）作为评估LLM记忆的指标——如果一个来自训练数据字符串可以通过比字符串本身短的提示诱发出来，那么它就被认为是被记忆的。换句话说，这些字符串可以通过计算较少令牌的对抗性提示用模型进行“压缩”。我们概述了现有记忆概念的局限性，并展示了ACR是如何克服这些挑战的：（1）提供了一种测量记忆的对抗性视角，特别是用于监控遗忘和合规性；以及（2）允许在相对较低的计算中测量任意字符串的记忆。我们的定义为确定模型所有者在数据使用条款方面可能违反的情况提供了宝贵的实用工具，可能成为一项法律工具，并为解决此类情况提供了关键的视角。

链接：https://www.aminer.cn/pub/66286ca801d2a3fbfc3631d8/?f=cs

4.A Survey on Self-Evolution of Large Language Models

本文是一篇关于大型语言模型自进化的调查报告。大型语言模型（LLM）在多个领域和智能代理应用中取得了显著的进步。然而，目前通过人类或外部模型监督学习的LLM成本高昂，并且随着任务复杂性和多样性的增加，可能会遇到性能瓶颈。为了解决这个问题，使LLM能够自主地从自身生成的经验中获取、精炼和学习自我进化的方法正在快速发展。这种新的人工经验学习过程启发的训练范式，为将LLM扩展到超级智能提供了潜力。在这项工作中，我们全面调查了LLM中的自我进化方法。首先，我们提出了一个自我进化的概念框架，并概述了进化过程作为由四个阶段组成的迭代循环：经验获取、经验精炼、更新和评估。其次，我们将LLM和基于LLM的代理的进化目标进行分类，然后总结文献并提供每个模块的分类和洞见。最后，我们指出现有的挑战，并提出未来的研究方向，以改进自我进化框架，为研究人员提供关键洞见，快速推进自我进化的LLM的发展。

链接：https://www.aminer.cn/pub/662715df13fb2c6cf65d9fdb/?f=cs

5.The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions

这篇论文提出了“指令层次”概念，旨在训练大型语言模型（LLMs）如GPT-3.5，使其优先执行具有更高优先级的指令，从而抵抗恶意指令的注入和模型被篡改的风险。文章指出，当前LLMs容易受到攻击的原因之一是，模型常常将系统提示（例如应用开发者的文本）与来自不可信用户和第三方的文本视为同等优先级。为了解决这个问题，作者提出了一种明确定义模型在不同优先级指令冲突时应该如何行为的指令层次结构。接着，作者提出了一种数据生成方法来展示这种层次化的指令遵循行为，即训练LLMs有选择性地忽略优先级较低的指令。当这种方法被应用到GPT-3.5时，结果显示它大幅提高了模型的鲁棒性，即使是在训练中未见过的攻击类型也是如此，同时对标准能力的影响几乎可以忽略不计。

链接：https://www.aminer.cn/pub/662715d113fb2c6cf65d9014/?f=cs

AMiner AI入口：
https://www.aminer.cn/chat/g/explain?f=cs