大语言模型中的第一性原理：Scaling laws

大语言模型的尺度定律在大语言模型的训练过程中起到了非常重要的作用。即使读者不参与大语言模型的训练过程，但了解大语言模型的尺度定律仍然是很重要的，因为它能帮助我们更好的理解未来大语言模型的发展路径。

1. 什么是尺度定律

尺度定律（Scaling laws）是一种描述系统随着规模的变化而发生的规律性变化的数学表达。这些规律通常表现为一些可测量的特征随着系统大小的增加而呈现出一种固定的比例关系。尺度定律在不同学科领域中都有广泛的应用，包括物理学、生物学、经济学等。

有趣的是，OpenAI的研究者在2020年发现，大语言模型也遵循着尺度定律[1]。

大语言模型的尺度定律描述的是模型的性能