推演语言模型的大小与计算开销_chinchilla定律

2020年，OpenAI提出了在增加模型尺寸与提高模型性能之间的扩展定律，指出人们应该将大部分预算用于扩大模型规模。这篇论文直接推动了增大模型规模的浪潮。然而，在预算和内存有限的情况下，盲目扩大模型规模并不是提升模型性能的最佳选择。
 

2022年，DeepMind团队发表了一篇论文（https://arxiv.org/pdf/2203.15556.pdf），文中对比了模型大小和训练数据，最终结论是：多数语言模型明显训练不足。也就是说，在不增加模型大小的情况下，在更大的数据集上训练模型将受益匪浅。文中，DeepMind团队训练了一个相对较小的LLM，名为Chinchilla，这个模型只有700亿个参数，但却有1.4万亿个训练token。经过训练，Chinchilla模型的性能超越了诸如GPT-3、Gopher、Jurassic-1和MT-NLG等更大的语言模型，这些语言模型的参数都在1750亿-5300亿之间，但训练token却在2700亿-3000亿之间。

更小的模型参数意味着更低的推理成本和更小的内存占用，实际上，对于大部分用例来说，小型语言模型的性价比更高。本文就从数学角度推算了为何在更多token上训练更小的LLM是更优选择。（以下内容在遵循CC BY-NC-SA 4.0协议的基础上由OneFlow编译发布，译文转载请联系OneFlow获得授权。原文：https://www.harmdevries.com/post/model-size-vs-compute-overhead/）

作者｜Harm de Vries

OneFlow编译

翻译｜杨婷、徐佳渝

当我们使用大型计算集群来训练大型语言模型（LLM），通常需要考虑计算（资源）预算的分配问题。具体来说，就是考虑如何确定模型参数的数量N及训练token数量D。

我们可以利用扩展定律（scaling laws）来获得相关指导，既可以在给定的计算（资源）预算C的条件下，如何把C分配给参数数量和训练token数量从而使模型达到最佳性能；也可以在给定模型性能的条件下，平衡参数数据量N和训练token数量D，从而使得计算预算C最小，我们可以把计算预算C最小的LLM称为计算量最优的LMM。

然而，对大多数用例而言，我们不一定要去训练计算量最优的LLM，而应投入一定的额外计算（资源）来训练一个同等性能但更小的模型。小型模型的推理速度更快同时推理价格也更低，对GPU资源有限的开发人员和研究人员来说运行也更容易。

尽管许多LLM从业者训练模型的token数量比Chinchilla扩展定律（译者注：Hoffmann等人（2022）重新审视了Kaplan等人的扩展定律。表明用较小的模型对更多数据进行训练可能更有效，从而产生了参数效率提高的70B参数模型Chinchilla）建议的token数量多得多，但不是所有人员都清楚扩展定律为何对模型训练有帮助，它能让我们确定可以训练出多小的模型以及需要多少额外的计算（资源）。

本篇博客将概述如何推导模型大小与计算（资源）额外开销之间的权衡（trade-off）关系，同时揭示了有办法在最小化额外开销的条件下可以大大缩减计算量最优模型的大小。然而，如果模型大小的缩减超出一定阈值，即使增加计算资源，也无法维持特定的模型性能，我们可以把这个模型的阈值称之为临界模型大小（critical model size）。

我的分析表明，临界模型大小大约降低到计算量最优模型大小的30%，而只增加了100%的额外计算开销。值得注意的是，近来的模型尚未达到这一点，例如训练了1T个token的LLaMa-7B模型，这表明训练“更小”的LLM仍有充足的空间，但需要延长训练时间。

 1

回顾Chinchilla扩展定律

根据Chinchilla评估扩展定律的第三种方法，作者认为损失可以建模为参数数量和训练所用token数量的函数：