『大模型笔记』大模型中的Scaling Law(规模法则)_大模型scaling law

作者：我家自动化 | 2024-08-12 21:31:13

踩

大模型scaling law

大模型中的Scaling Law(规模法则)

Scaling Laws简单介绍就是：随着模型参数量大小、数据集大小和用于训练的浮点数计算量的增加，模型的性能会提高。并且为了获得最佳性能，所有三个因素必须同时放大。当不受其他两个因素的制约时，模型性能与每个单独的因素都有幂律关系。

一. 核心结论

OpenAI于2020年1月23放出的论文：Scaling Laws for Neural Language Models。核心结论如下：

对于Decoder-only的模型，计算量

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家自动化/article/detail/971677