LLMLingua | 通过提示语压缩为大型语言模型设计一种语言

    每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/ 。 

在当今这个技术飞速发展的时代，大型语言模型（LLM）的能力不断被推向新的高度，它们已经被应用于各个领域中。然而，随着技术的进步，如思维链（CoT）、上下文学习（ICL）和检索增强生成（RAG）等技术的发展，LLM所需处理的提示语变得越来越长，有时甚至超过数万个标记。这种情况下，更长的提示语可能会导致API响应延迟增加、超出上下文窗口限制、丢失上下文信息、增加API费用以及出现“迷失在中间”的性能问题。

针对这一挑战，一群研究人员受到“LLM即压缩器”概念的启发，开展了一系列工作，旨在通过提示语压缩为LLM构建一种新语言。这种方法旨在加速模型推理、降低成本，并在改善下游任务性能的同时，揭示LLM的上下文利用和智能模式。他们的工作在LLMLingua上实现了20倍的压缩比，几乎不损失性能，并在LongLLMLingua上以4倍压缩实现了17.1%的性能提升。

这项研究揭示了几个关键洞察。首先，自然语言本身具有冗余性，不同信息的量是不同的。其次，LLM能够理解经过压缩的提示语。此外，他们还发现语言的完整性与压缩比之间存在权衡关系。GPT-4展示了从压缩提示语中恢复所有关键信息的突发能力，这证明了其对语言的深刻理解能力。最后，提示语中关键信息的密度和位置会影响下游任务的表现。

这项研究不仅对技术开发者和研究人员具有重大意义，也为普通用户提供了更快、更经济的AI服务，开辟了LLM技术发展的新道路。随着LLM在日常生活中扮演着越来越重要的角色，这项工作的成果无疑为未来的技术进步指明了方向，展示了在追求技术创新的同时如何有效应对挑战。

详细请看 https://github.com/microsoft/LLMLingua