Efficient Large Language Models: A Survey

本文是LLM系列文章，针对《Efficient Large Language Models: A Survey》的翻译。

摘要

大型语言模型（LLM）在自然语言理解、语言生成和复杂推理等重要任务中表现出了非凡的能力，并有可能对我们的社会产生重大影响。然而，这种能力伴随着它们所需的大量资源，突出表明迫切需要开发有效的技术来应对其效率挑战。在这项调查中，我们对有效的LLM研究进行了系统而全面的回顾。我们将文献组织在一个由三个主要类别组成的分类法中，分别从以模型为中心、以数据为中心和以框架为中心的角度涵盖了不同但相互关联的高效LLM主题。我们还创建了一个GitHub存储库，在这里我们汇编了本次调查中的论文https://github.com/aiotmlsys-lab/efficient-llms-survey，并将积极维护该存储库，并在出现新研究时纳入其中。我们希望我们的调查能成为一种宝贵的资源，帮助研究人员和从业者系统地了解高效LLM的研究进展，并激励他们为这一重要而令人兴奋的领域做出贡献。

1 引言